适应视觉基础模型以实现遥感图像中的鲁棒云分割
计算机视觉与模式识别
2024-11-26 v2
摘要
云分割是遥感图像解译中的一个关键挑战，其准确性直接影响后续数据处理和分析的有效性。最近，视觉基础模型（VFM）在各种视觉任务中展示了强大的泛化能力。在本文中，我们提出了一种参数高效的适应性方法，称为 Cloud-Adapter，旨在提高云分割的准确性和鲁棒性。我们的方法利用在通用领域数据上预训练的 VFM，该模型保持冻结，无需额外训练。Cloud-Adapter 包含一个轻量级空间感知模块，该模块首先利用卷积神经网络（ConvNet）提取密集的空间表示。然后将这些多尺度特征聚合，并作为上下文输入到适配模块，该模块调节 VFM 内的冻结 Transformer 层。实验结果表明，Cloud-Adapter 方法仅使用冻结骨干网络 0.6% 的可训练参数，就实现了显著的性能提升。Cloud-Adapter 在来自多个卫星源、传感器系列、数据处理级别、土地覆盖场景和注释粒度的各种云分割数据集上一致地实现了最先进的性能。我们已在 https://xavierjiezou.github.io/Cloud-Adapter/ 发布了代码和模型检查点以支持进一步研究。
引用
@article{arxiv.2411.13127,
title = {Adapting Vision Foundation Models for Robust Cloud Segmentation in Remote Sensing Images},
author = {Xuechao Zou and Shun Zhang and Kai Li and Shiying Wang and Junliang Xing and Lei Jin and Congyan Lang and Pin Tao},
journal= {arXiv preprint arXiv:2411.13127},
year = {2024}
}
备注
13 pages, 9 figures