87 / 2024-08-15 10:48:39

多模态遥感影像持续学习模型设计与优化

多模态遥感影像,语义分割,持续学习,知识蒸馏

多模态遥感影像语义分割作为遥感影像解译的一项重要基础软件直播观看，能够获得丰富的语义信息，可广泛应用于国土资源监测和航天影像解译等领域。然而，当前的多模态遥感影像语义分割模型只能应用于静态离线的任务，无法在持续数据流场景下进行部署。同时，针对多模态遥感影像语义分割的持续学习研究较少，且现有模型存在灾难性遗忘问题。因此，本研究旨在解决这些问题，提出一种基于知识蒸馏的多模态遥感影像持续学习语义分割方法。



针对灾难性遗忘，本文创新性应用持续学习算法在多模态遥感影像语义分割任务中。具体来说，本文基于知识蒸馏，针对背景类偏移和类别不平衡重构了损失函数。同时，部署了多模态遥感影像的特征融合模块，并改进了解码器中的初始化策略，实现了持续数据流中对多模态遥感影像的语义分割，降低了模型的遗忘度。



本文在多模态遥感数据集 WHU-OPT-SAR 上进行了方法验证，设置了两种序列化任务，选择了三种持续学习指标，包括平均连续准确度、平均遗忘度和交并比，并与五种主流的持续学习方法进行对比，验证了本文算法的优越性。实验表明，本文方法学习新增任务后还能保持在先前任务上的性能，与当前主流方法相比，平均连续准确度由 35.77% 提升至37.23%，平均遗忘度由 14.11% 降为11.62%。同时，通过消融实验验证了各个模块的有效性，包括特征融合模块、损失函数重构和解码器初始化策略的改进对整体性能的提升具有显著作用。实验结果验证了本文方法的有效性和优越性，具有重要的研究意义和应用价值。未来工作将进一步优化模型结构，提升其在大规模数据集和多样化任务中的适应能力。