114 / 2024-08-16 16:32:17

基于跨模态相互增强的多频图卷积网络的多源遥感图像分类

高光谱图像分类；图卷积网络；图小波卷积网络；二分图；注意力机制；对比学习

 高光谱图像因其光谱信息具有较高的光谱分辨率，能反映地物目标在光谱特征上的细微差异。然而，受限于图像中低空间分辨率、难以提取的高程信息，以及高光谱图像本身抗极端气候干扰能力较差等因素，以分类为首的高光谱图像智能解译任务迎来较大挑战。同时，激光雷达图像因其能为地物目标提供更为精细的几何、高程信息等优势，能有效弥补和改善高光谱图像在描述同一地物目标时存在的空间信息不足等的缺陷。因此，为了充分挖掘高光谱图像和激光雷达图像特征的相互依赖关系，实现不同源图像数据间的优势互补，本文以图卷积理论为指导，引入并结合小波理论和对比学习等多种先进思想，提出了基于跨模态相互增强的多频图卷积网络方法。首先，设计自适应多频图特征学习模块分别捕捉高光谱图像和激光雷达数据的低频和高频多尺度特征，并采用注意力机制分别实现低频和高频特征自适应聚合，巧妙地解决了图卷积过平滑导致类边界分类难的问题。其次，首次引入二分图策略从特征和邻域两个不同的角度描述高光谱图像和激光雷达数据相互关系，并基于此关系构建增强学习模块实现不同源数据间信息传递，利用激光雷达数据增强高光谱数据的空间特征，同时利用高光谱数据增强激光雷达数据的光谱特征。然后，设计门控融合模块实现高光谱图像和激光雷达数据充分融合，利用不同源数据的互补特性增强判别性特征。最后，设计半监督的对比损失，基于高光谱图像和激光雷达图像数据之间的几何和标签信息构建正负样本，并通过拉近正样本对距离的同时增大负样本对的距离，高效解决模型的过拟合问题，从而获得准确多源遥感数据分类精度。在三组真实多源遥感图像数据集上进行了详细的仿真实验，具体来说，在Trento数据集，提出的方法相较于次优方法在整体分类精度、平均分类精度和Kappa系数分别提升0.9%、1.72%和1.2%，在Houston数据集，所提方法相比次优方法，整体分类精度增加1.42%，平均分类精度提高1.65%，Kappa系数提升1.55%，在MUUFL数据集，提出方法在整体分类精度、平均分类精度和Kappa系数三个方面分别高于次优方法4.09%、1.16%、5.28%，实验结果证明了所提出基于跨模态相互增强的多频图卷积网络在多源遥感数据分类上的有效性，此外，通过设计多组消融实验验证各个模块在整个网络中的作用。