摘要详情
121 / 2024-08-19 23:47:14
ClassWise-SAM-Adapter：基于参数高效微调Segment Anything Model的SAR图像地物分类
合成孔径雷达,参数高效微调,地物分类,分割一切,适配器微调
摘要待审
基础大模型在计算机视觉领域受到了广泛的关注，Segment Anything Model（SAM）是基于视觉变换器（ViT）模型构建的，拥有数百万参数和庞大的训练数据集SA-1B，它在依赖于语义信息重要性和泛化能力的多种分割场景中表现出色。视觉基础模型的这一成就激发了对计算机视觉中特定下游任务的持续研究。ClassWise-SAM-Adapter（CWSAM）旨在将高性能的SAM适应于合成孔径雷达（SAR）图像的土地覆盖分类任务。提出的CWSAM算法冻结了SAM的大部分参数，并结合了轻量级适配器进行参数高效微调，设计了一个类别感知的掩模解码器来完成多类别语义分割任务。此外，任务特定的输入模块通过基于MLP的层注入SAR图像的低频信息以提高模型性能。与当前最先进语义分割算法相比，CWSAM在广泛的实验中展示了有效的性能并要求更少的计算资源，凸显了基础模型迁移至SAR图像领域特定下游任务的潜力。
重要日期
-
会议日期
09月20日
2024
至09月22日
2024
-
08月30日 2024
初稿截稿日期
-
09月22日 2024
注册截止日期
主办单位
山东省人民政府
中国电子学会
中国电子学会
承办单位
中国科学院学部
中国科学院空天信创新研究所息
复旦大学
中国科学院空天信创新研究所息
复旦大学
联系方式
- 李若明
- li******@aircas.ac.cn
- 177********
- 赵丽云
- zh******@aircas.ac.cn
- 186********
- 高华
- ra******@aircas.ac.cn
- 010*********
