MapSAM: 适配片段任意模型以实现历史地图中的自动特征检测
计算机视觉与模式识别
2024-11-12 v1
摘要
历史地图中的自动特征检测可以显著加速地理空间过去的重建。然而，这一过程常常受到手动数字化足够高质量训练数据这一耗时任务的限制。视觉基础模型（如片段任意模型 SAM）的出现因其卓越的泛化能力和对新数据分布的快速适应性而提供了有前景的解决方案。尽管如此，将 SAM 直接以零样本方式应用于历史地图分割仍面临重大挑战，包括对某些地理空间特征的识别不佳以及对输入提示的依赖，这限制了其完全自动化的能力。为应对这些挑战，我们提出了 MapSAM，一种参数高效的微调策略，将 SAM 适配为适用于各种下游历史地图分割任务的无提示且通用的解决方案。具体而言，我们采用权重分解低秩自适应（DoRA）将领域特定知识整合到图像编码器中。此外，我们开发了一种自动提示生成过程，消除了对人工输入的需求。我们进一步增强了 SAM 中的位置提示，将其转化为更高层次的位置-语义提示，并通过掩码注意力修改掩码解码器中的交叉注意力机制，以实现更有效的特征聚合。提出的 MapSAM 框架在两个不同的历史地图分割任务上展示了有前景的性能：一个聚焦于线性特征，另一个聚焦于面状特征。实验结果表明，即使使用极少的数据（例如 10 shots）进行微调，它也能很好地适应各种特征。
引用
@article{arxiv.2411.06971,
title = {MapSAM: Adapting Segment Anything Model for Automated Feature Detection in Historical Maps},
author = {Xue Xia and Daiwei Zhang and Wenxuan Song and Wei Huang and Lorenz Hurni},
journal= {arXiv preprint arXiv:2411.06971},
year = {2024}
}