利用SAM对建筑物分割模型进行零样本优化
计算机视觉与模式识别
2024-02-13 v2 人工智能
计算与语言
机器学习
摘要
基础模型在各种任务中表现出色，但通常在通用基准上评估。这些模型在特定领域（如遥感影像）的适配仍是一个未被充分探索的领域。在遥感中，精确的建筑物实例分割对于城市规划等应用至关重要。虽然卷积神经网络（CNNs）表现良好，但其泛化能力可能受限。为此，我们提出一种新颖方法来适配基础模型，以解决现有模型的泛化下降问题。在若干模型中，我们聚焦于 Segment Anything Model（SAM）——一个以其类无关图像分割能力而闻名的强大基础模型。我们首先识别 SAM 的局限性，揭示其在应用于遥感影像时性能欠佳。此外，SAM 不提供识别能力，因此无法对局部化对象进行分类和标记。为解决这些局限，我们引入了不同的提示策略，包括集成预训练 CNN 作为提示生成器。这种新颖方法增强了 SAM 的识别能力，属首创。我们在三个遥感数据集上评估了我们的方法，包括 WHU Buildings 数据集、Massachusetts Buildings 数据集和 AICrowd Mapping Challenge。在 WHU 数据集的分布外性能上，我们实现了 IoU 提升 5.47% 和 F1 分数提升 4.81%。在 WHU 数据集的分布内性能上，我们观察到真阳性 IoU 和真阳性 F1 分数分别提升 2.72% 和 1.58%。我们的代码公开于该仓库（https://github.com/geoaigroup/GEOAI-ECRS2023），希望启发遥感界对基础模型用于领域特定任务的进一步探索。
引用
@article{arxiv.2310.01845,
title = {Zero-Shot Refinement of Buildings' Segmentation Models using SAM},
author = {Ali Mayladan and Hasan Nasrallah and Hasan Moughnieh and Mustafa Shukor and Ali J. Ghandour},
journal= {arXiv preprint arXiv:2310.01845},
year = {2024}
}