73 / 2024-08-14 21:38:59

基于多模态特征感知的去冗余去雾网络（AITC 2024+空天之星）

图像去雾,多模态特征,高频信息,快速傅里叶变换,特征融合

图像去雾是计算机视觉中的关键问题，基于深度学习的端到端去雾方法已成为该领域的主流方法，并且取得了不错的效果。然而，这类方法对于高频信息的捕获上仍存在不足，导致图像清晰度和真实感降低。针对这一问题，本文提出了一种基于多模态特征感知的去冗余去雾网络，通过设计多模态特征感知模型和多模态去冗余模型，增强了网络对高频信息的捕获和利用能力。具体的，多模态特征感知模型包括高频信息感知模块和高频特征编码器。高频信息感知模块首先利用快速傅里叶变换（FFT）将图像从空间域转换到频域，加强对图片的边缘、纹理和细节信息的捕获。然后，高频特征编码器利用多尺度处理深入分析这些高频分量，生成丰富且表达力强的特征，使网络能够同时关注大尺度结构和小尺度细节信息。最后，多模态去冗余模型引入通道注意力机制，自适应地调整特征权重，突出关键高频信息，减少冗余与噪声，从而在融合过程中最大限度地保留图像细节，提升去雾效果的质量。为了验证其有效性，与12种经典的图像去雾算法进行了对比实验。在SOTS数据集上，我们的平均峰值信噪比达到了34.77dB，相比于性能第二的模型提升了2.9%。源代码可以在https://github.com/Xi0ngxinyu/MFPD-Net获取。