本项目来源于国家杰出青年科学基金 “光学遥感影像数据智能分析(编号61925112)“,起止时间2020.1-2024.12。本项目工作概括如下:
(一)主要研究内容
针对光学遥感图像智能解译的需求,聚焦遥感场景中底层数据到高层信息的语义鸿沟问题,利用高光谱图像的空谱特性构建空谱解译模型,利用源域和目标域的特征偏移构建跨域解译模型,利用遥感图文的模态互补构建多模态解译模型,相关研究成功应用于场景分类、变化检测、目标检测、图文交互等多项任务,如图1所示。
图1 主要研究内容
(1)针对如何在高光谱遥感场景解译中充分利用空谱信息完成高光谱场景解译任务的关键问题,负责人已在场景分类以及变化检测任务中进行多项理论验证。在分类任务中,负责人提出了基于伪标签的不可靠样本学习方法(PUSL)和无监督特征提取融合网络,这些方法有效解决了空谱信息利用不足的问题,并通过构建无位置变换器(PFT)避免了对标记样本空间分布的过度拟合,提升了高光谱图像的分类精度。在变化检测任务中,负责人提出了频域信息交换生成网络(FDIEG-UNet)和基于频谱感应变压器的特征学习方法(STFL),利用光谱维度的长程依赖性生成区分性特征,同时优化了多时相数据中光谱信息的提取与融合。这些方法有效解决了高光谱图像在变化检测中光谱特征表达不足、数据相关性差等问题。
(2)针对遥感图像跨域学习中,传感器差异、数据分布不一致和标注资源的匮乏的关键问题。负责人提出的深度特征重建学习框架(DFRL)和域映射网络(DMN),通过引入分离已知与未知类别机制和优化的训练策略,显著提升了跨域分类的精度和鲁棒性。此外,负责人还在跨域遥感目标检测方面提出了双教师框架和领域自适应无锚目标检测方法(DAAF),有效解决了不同域之间的适应性问题,为跨域遥感目标检测技术的应用奠定了坚实基础。
(3)针对在大规模遥感图像的跨模态和跨源数据融合任务中,如何有效整合来自不同传感器和不同数据源的信息的关键问题,负责人提出了多种解决方案:针对遥感图像图文检索任务中的图像与文本语义信息对齐问题,提出了通过上下文区域学习和成对加权损失函数等技术,实现了更高效、更精确的跨模态特征匹配。其研究不仅提升了遥感图像图文检索的准确性和效率,也推动了遥感数据的深度融合应用,为遥感技术的跨领域应用提供了新的解决方案。这些开创性的研究成果在推动遥感技术发展的同时,也为实际应用带来了重要的创新突破。
(4)基于自适应编码的高光谱成像技术
针对高光谱成像系统中分辨率与信噪比受制约的问题,项目负责人提出了自适应编码理论研究,旨在通过编码模板的多通道成像累加,提升高光谱成像系统的能量利用率,实现空间多通道的同时测量,从而实现高信噪比探测。研究内容主要包括以下两方面:一是在理论创新上,构建了自适应编码模型,从数学理论模型出发,设计最优的光学物理层编码模板,并结合数据层的数据反演算法,系统研究了外界物理干扰对编码和数据反演的影响,最终实现了在最佳信噪比条件下的目标函数模型和编码模板优化设计;二是在技术创新上,提出了基于自适应编码的Dyson同心折返高光谱成像技术,将自适应编码技术融入同心折返光学结构,进一步提升系统信噪比,如图8所示。同心折返结构具备大相对孔径和大视场的优良成像性能,同时通过光路折叠实现了紧凑、轻量化的高光谱成像构型。研究成果在工程样机中成功验证,为高光谱成像系统的高效能量利用和高光谱图像的智能化解译提供了重要技术支持。
至今,上述成果已在国际顶级学术期刊上发表SCI论文55篇,其中包括《IEEE Transactions on Geoscience and Remote Sensing》、《IEEE Transactions on Multimedia》、《IEEE Transactions on Image Processing》《Pattern Recognition》等国际知名顶刊,涵盖了遥感图像分析、机器学习和数据挖掘等前沿技术。此外,项目期间已获得授权发明专利9项,申请7项,涉及遥感技术、人工智能以及高效数据处理等多个领域,创新成果为学术界和产业界提供了重要的技术支持与理论指导。
图2 基于自适应编码的高光谱成像技术
(二)项目成果展示
(1)针对高光谱成像载荷研制,负责人研发了APHIS系列高光谱成像仪,包括APHIS2.0-I型和APHIS2.0-II型产品,成功实现了从地面到星载多平台的全面覆盖。APHIS2.0-I型产品具备小型化、高性能特点,适用于地面、无人机和徕纳卫星等多种平台,已成功完成多套星载与地面监测任务,如图3所示。
图3 APHIS2.0-I型星载、地面产品;(a)XX-01卫星高光谱相机、(b)QK卫星高光谱相机、(c)HJJ工程大学(地面产品)、(d)北京环境特性研究所(地面产品)和(e)湖南大学(地面产品)
APHIS2.0-II型产品是更高分辨率的高性能产品,适用于地面、机载、微纳卫星等应用平台,如图4所示。该APHIS2.0-II型产品在500km轨道高度具有40m的空间分辨能力,80km幅宽,应用于多种微小卫星平台。该成果应用于“厦门科技一号”微小卫星上如图5,于2023年1月发射成功,可满足高光谱分辨率+中高空间分辨率、多源遥感数据融合等多方面用户需求。
图4(a)APHIS2.0-II型产品;(b)APHIS2.0-II型产品的高光谱数据采集效果
图5 (a)厦门科技一号卫星高光谱相机;(b)厦门科技一号
获取的西藏吴如措湖区高光谱数据
(2)采用多光谱图像探测技术,实现火灾探测和视频监控二合一;采用嵌入式智能架构独立工作;全天候工作,自带红外背景光源,能同时侦测火焰和烟雾;输出火灾警报、火灾概率、火灾位置等信息。第一代产品已通过国家标准初检;第二代产品正在开发与测试。标准火焰响应时间2~20s,标准烟雾响应时间10~240s,故障事件检测响应时间0.1~30s。隧道、地下管廊、体育馆、剧场、电影院、仓库等高大空间;输变电设备、机房、弹药库、遗产、文献库等场所。实现消防领域火灾报警与安防领域视频监控的完美统一效果,保障了人民生命财产安全,促进了社会和谐。
(三)人才培养情况
本项目培养博士生龚腾飞、陈秀妹、杜星乾、孙昊等博士生10余名,硕士生10余名(其中包含部分硕士研究生硕博连读),其中指导学生陈亚雄获得2020年中科院院长特别奖,指导学生孙昊获得2021年中科院院长特别奖、宁海龙获得2021年中国科学院院长奖优秀奖、龚腾飞获得2021年博士研究生国家奖学金以及2022年中国科学院院长奖优秀奖、2022年朱李月优秀博士生奖、陈秀妹获得2022年朱李月优秀博士生奖等如图6、图7。指导博士研究生卢耀平荣获中国国际大学生创新大赛(2024)金奖,项目代表福建省入选教育部优秀成果展,并受邀接受中央电视台采访如图8(a)。指导硕士研究生施伟超获得2024年度挑战杯“揭榜挂帅”专项赛特等奖如图8(b)。
图6 已毕业学生获奖情况(陈亚雄、孙昊)
图7 已毕业学生获奖情况(宁海龙、龚腾飞) 图8 现指导学生获奖情况 (a)中国国际大学生创新大赛(2024)金奖 (b)2024年度挑战杯“揭榜挂帅”专项赛特等奖
|
(四)项目成果小结
光学遥感影像作为对地观测的重要数据来源,涵盖了丰富的时间、空间、光谱信息,是支撑遥感科学与技术发展的关键基础。然而,随着遥感数据的急剧增多,如何有效处理和解译这些大规模、高维、异构数据,已成为衡量国家对地观测技术综合能力的重要标志。本项目在高光谱图像场景解译方面,提出了联合空谱信息建模等方法,有效解决了数据冗余问题,优化高维数据的特征提取过程,提升了场景解译的准确性。在跨域遥感场景解译方面,针对遥感数据中的分布差异,提出了多源域特征对齐网络和域对抗机制等方法,提升了跨域特征的迁移能力和模型的泛化性。在多模态遥感图像协同分析方面,结合了遥感影像与文本描述,构建了基于局部空间表达机制和语义注意力模型的特征学习框架,增强了影像与文本之间的对应关系挖掘能力。在高光谱成像系统的设计方面,提出了基于自适应编码的高光谱成像技术,解决传统高光谱载荷在高分辨率、紧凑性和高信噪比探测中的局限性,优化了高光谱成像仪的光路设计。本项目的研究成果为对地高精度遥感监测提供了有效的技术支持,尤其在复杂背景下的遥感数据处理、目标检测和场景理解等领域具有显著的应用潜力。