82 / 2024-08-15 09:53:37

RS-Quant：基于CNN-Transformer混合架构的遥感多任务全量化网络（AITC 2024+摘要）

轻量化设计；重参数化；自适应量化器

在遥感卫星软件直播观看迅猛发展的背景下，在轨解译处理在星载芯片算力演进下成为一种新趋势，其中遥感模型轻量化是实现在轨处理的关键核心软件直播观看。在遥感软件直播观看领域，当前混合网络架构的模型日益增多，其展现出的潜力在学术界和工业界均受到了广泛关注。近期，基于卷积神经网络（CNN）与Transformer模型的混合架构，采用了创新的双分支策略，旨在分别捕获遥感图像中的高频和低频特征。这种设计不仅能够捕捉图像中的长距离依赖性，还能够专注于提取高频和低频信息，从而在多种遥感场景的下游任务中实现了显著的性能提升。然而，在实际的在轨硬件环境中，这些模型由于其庞大的参数量和float32的数据存储格式，面临着精度与实时性之间的权衡问题。针对星上智能处理平台的硬件资源限制，采用模型量化软件直播观看对深度学习模型进行轻量化设计，已成为当前研究的热点。这一研究方向旨在不牺牲模型处理精度的同时，降低模型的计算复杂度，以实现星上遥感图像的高效和高精度智能处理。本文基于CNN与Transformer混合架构，针对性地设计适配的量化方法，提出了一个适用于遥感场景的完全量化的模型RS-Quant。首先，针对CNN与Transformer混合架构中低频分支的多头自注意力结构在直接量化后精度损失较严重的问题，本文提出了一种新颖的Token Mixer以替代原先低频分支中前两个层中的多头自注意力结构，在获取长距离依赖关系的同时有效地减少模型量化带来的精度损失。多头自注意力结构包含LayerNorm、Softmax、GELU层等，量化过程的离散化和数值范围限制容易破坏这些层精细的数值特性和非线性表达能力，导致这些层在直接量化后精度损失较严重。本文采用参数量较少的稀疏MLP结构作为新的Token Mixer进行特征信息的聚合，在降低模型复杂度的同时，尽可能减少模型量化引入的精度损失，与此同时模型的过拟合风险大大降低。其次，由于遥感影像幅宽较大且小目标数量众多，对模型的细节信息捕获能力要求很高。为此，本文针对CNN与Transformer混合架构中的高频分支，通过重参数化的方式，将模型的训练与推理进行解耦，增强模型训练时的参数量以进一步提升网络整体精度，而在模型推理时，将训练时的多分支结构转换为单分支结构，同时剔除网络中的跳跃连接操作来降低内存访问成本，使量化后的模型实现高效、高精度的推理。此外，较于普通图像，遥感图像的数值分布情况不同，比如具有更宽的动态范围与更多的噪声或异常值（如云、阴影、传感器误差等）。本文提出了Auto-Mixer量化器，针对异构网络的不同模块自适应采取不同的量化方式，根据遥感图像的实际像素值分布来调整量化器的参数，使模型能够自动适应遥感数据的复杂性。该方法针对遥感图像中不同地貌和光谱特征的数值分布，在量化过程中更加精准地反映地表特征和变化，旨在实现精度损失的最小化，确保模型完全量化后在各类下游任务的高精度和可靠性。在遥感场景分类NWPU-RESISC45数据集上，本文提出的量化算法相较于FQ-VIT提出的全量化算法，在全量化后的模型精度上提升了3.56%。