UrbanSAM：面向城市建设的自适应模型学习不变性
计算机视觉与模式识别
2025-02-24 v1
摘要
从遥感图像中进行对象提取和分割是城市环境监测中的关键且具有挑战性的任务。城市形态本质上具有复杂性，包含形状各异且尺度不同的不规则对象。这些挑战因遥感数据源之间的异质性和尺度差异而被放大，包括传感器、平台和模态等因素，使得准确对象分割尤为艰巨。虽然 Segment Anything Model (SAM) 在分割复杂场景方面显示出巨大潜力，但其在处理形态变化的对象方面表现有限，因依赖人工交互式提示。为此，我们提出 UrbanSAM，专为分析复杂城市环境而定制的 SAM 版本，旨在应对遥感观测中的尺度效应。灵感来源于多分辨率分析(MRA)理论，UrbanSAM 引入新型可学习提示器，配合遵循不变性准则的 Uscaling-Adapter，使模型能够捕获对象多尺度上下文信息，并在理论保证下适应任意尺度变化。此外，通过掩码交叉注意力操作，将 Uscaling-Adapter 与主干编码器的特征对齐，使主干编码器继承该适配器的多尺度聚合能力。这种协同作用提升了分割性能，实现更强大且更准确的输出，得益于所学适配器。大量实验表明，所提方法在全球尺度数据集上展现出灵活性和优异分割性能，数据集涵盖建筑物、道路和水域等尺度变化的城市对象。
引用
@article{arxiv.2502.15199,
title = {UrbanSAM: Learning Invariance-Inspired Adapters for Segment Anything Models in Urban Construction},
author = {Chenyu Li and Danfeng Hong and Bing Zhang and Yuxuan Li and Gustau Camps-Valls and Xiao Xiang Zhu and Jocelyn Chanussot},
journal= {arXiv preprint arXiv:2502.15199},
year = {2025}
}