100 / 2024-08-15 17:19:44

基于深度塔克分解网络与空谱流形学习的无监督高光谱图像盲融合方法 AITC 2024+摘要

高光谱图像,盲融合,深度塔克分解,空谱流形学习

高光谱图像是一种具有连续谱带信息的特殊图像，广泛应用于遥感领域。受固有光学系统的限制，大多捕获的图像缺乏空间或光谱信息。为了在保持低分辨率高光谱(LRHSI)光谱维数的同时提高空间分辨率，一种典型而有效的方法是与高分辨率多光谱图像(HRMSI)融合。现有的方法虽然能够达到一定效果，但仍存在一些问题：模型方法的泛化性能弱且难以捕捉复杂特征；深度学习方法需要大量训练数据，且忽略了数据内的模式间关系。为解决上述问题，本文针对现有高光谱融合方法中存在的退化关系未知、高维结构与深度特征之间关联性差等问题，提出了一种基于深度塔克分解与流形学习的无监督盲融合方案。具体的，本文设计了一种新的深度塔克分解网络，首先假设核心张量可以从输入数据中学习，并通过核心张量生成网络f_fuse(X,Y;Φ)实现LRHSI和HRMSI中一致特征空间（即核心张量F_C）的映射。将因子矩阵作为可学习参数，通过设计共享不同模式因子矩阵参数的解码器实现LRHSI、HRMSI和高分辨率高光谱图像(HRHSI)的重建。训练损失主要包括重建损失、退化损失和流形约束。其中重建损失为对重建后LRHSI和HRMSI的误差计算，定义为：L_rec=||X-X_rec||₁+||Y-Y_rec||₁。我们采用空间退化网络f_PSF=f_PSF1(f_PSF2(x;Θ_P2);Θ_P1)和光谱退化网络f_SRF(x;Θ_P3)学习未知空谱退化。最后引入流形约束，增强捕获空谱细节特征的能力，通过对不同模式展开的向量建立拉普拉斯矩阵，结合因子矩阵构造空谱流形约束，即L_manifold=tr(H^TL_WW)+tr(H^TL_HH)+tr(S^TL_SS)。通过耦合优化实现网络参数的训练。提出方法在两个数据的8倍空间下采样情形取得先进的结果，进一步验证了张量分解模型、融合模型与深度学习方法的有效结合。在未来工作中，将进一步考虑如何改进压缩和降维方法，以最大限度地减少光谱损失，同时设计具有更好泛化性能的损失函数以降低无监督模型的训练成本和不稳定性。