基于目标与边界约束的 SAM 辅助遥感图像语义分割
计算机视觉与模式识别
2023-12-21 v2
摘要
遥感图像的语义分割在为各种下游应用提取精确信息方面发挥着关键作用。Segment Anything Model (SAM) 这一先进的通用分割模型的近期发展彻底改变了该领域，为准确高效的分割提供了新途径。然而，SAM 仅限于生成不含类别信息的分割结果。因此，将这种强大的通用视觉模型用于遥感图像的语义分割已成为研究的焦点。在本文中，我们提出了一个简化的框架，旨在通过利用两个被称为 SAM 生成目标 (SAM-Generated Object, SGO) 和 SAM 生成边界 (SAM-Generated Boundary, SGB) 的新概念来利用 SAM 的原始输出。更具体地说，我们提出了一种新颖的目标损失，并进一步引入了边界损失作为辅助组件，以帮助一般语义分割框架中的模型优化。考虑到 SGO 的内容特征，我们引入了目标一致性的概念，以利用缺乏语义信息的分割区域。通过对目标内预测值的一致性施加约束，目标损失旨在提高语义分割性能。此外，边界损失通过将模型的注意力引导至目标的边界信息来利用 SGB 的独特特征。在两个知名数据集（即 ISPRS Vaihingen 和 LoveDA Urban）上的实验结果证明了我们所提方法的有效性。本工作的源代码将在 https://github.com/sstary/SSRS 上获取。
引用
@article{arxiv.2312.02464,
title = {SAM-Assisted Remote Sensing Imagery Semantic Segmentation with Object and Boundary Constraints},
author = {Xianping Ma and Qianqian Wu and Xingyu Zhao and Xiaokang Zhang and Man-On Pun and Bo Huang},
journal= {arXiv preprint arXiv:2312.02464},
year = {2023}
}
备注
10 pages, 4 figures