UV-SAM:适配 Segment Anything 模型用于城中村识别
计算机视觉与模式识别
2024-02-02 v2
摘要
城中村定义为城市中心内部或周边的非正式居住区,其特征是基础设施不足和生活条件恶劣,与关于贫困、适足住房和可持续城市的可持续发展目标 (SDGs) 密切相关。传统上,政府严重依赖实地调查方法来监测城中村,但这耗时、费力且可能滞后。得益于广泛可用且及时更新的卫星图像,近期研究开发了计算机视觉技术以高效检测城中村。然而,现有研究要么专注于简单的城中村图像分类,要么无法提供准确的边界信息。为了从卫星图像中准确识别城中村边界,我们利用视觉基础模型的力量,将 Segment Anything Model (SAM) 适配于城中村分割,命名为 UV-SAM。具体而言,UV-SAM 首先利用小型语义分割模型生成针对城中村的混合提示,包括掩膜、边界框和图像表示,然后将其输入 SAM 进行细粒度边界识别。在中国两个数据集上的大量实验结果表明,UV-SAM 优于现有基线;多年的识别结果显示,城中村的数量和面积均随时间减少,这为城中村的发展趋势提供了更深入的见解,并为可持续城市的视觉基础模型提供了启示。本研究的数据集和代码可在 https://github.com/tsinghua-fib-lab/UV-SAM 获取。
引用
@article{arxiv.2401.08083,
title = {UV-SAM: Adapting Segment Anything Model for Urban Village Identification},
author = {Xin Zhang and Yu Liu and Yuming Lin and Qingmin Liao and Yong Li},
journal= {arXiv preprint arXiv:2401.08083},
year = {2024}
}
备注
Accepted by AAAI 2024