OmniOVCD:利用SAM 3简化开放词汇变化检测
计算机视觉与模式识别
2026-04-27 v2 人工智能
摘要
变化检测(CD)是遥感中的一项基本任务,用于监测土地覆盖随时间的演变。在此基础上,开放词汇变化检测(OVCD)引入了一项新要求,旨在减少对预定义类别的依赖。现有的免训练OVCD方法大多使用CLIP来识别类别,这些方法还需要像DINO这样的额外模型来提取特征。然而,组合不同模型常常导致特征匹配问题,并使系统不稳定。最近,Segment Anything Model 3(SAM 3)被提出,它将分割和识别能力集成在一个可提示模型中,为OVCD任务提供了新的可能性。在本文中,我们提出了OmniOVCD,一个为OVCD设计的独立框架。通过利用SAM 3的解耦输出头,我们提出了一种协同融合到实例解耦(SFID)策略。SFID首先融合SAM 3的语义、实例和存在性输出以构建土地覆盖掩码,然后将其分解为单个实例掩码以进行变化比较。这种设计在类别识别中保持了高精度,并维持了跨图像的实例级一致性。因此,该模型能够生成准确的变化掩码。在四个公开基准数据集(LEVIR-CD、WHU-CD、S2Looking和SECOND)上的实验证明了其SOTA性能,分别达到了67.2、66.5、24.5和27.1的类别平均IoU分数,超越了所有先前的方法。代码可在https://github.com/Erxucomeon/OmniOVCD获取。
引用
@article{arxiv.2601.13895,
title = {OmniOVCD: Streamlining Open-Vocabulary Change Detection with SAM 3},
author = {Xu Zhang and Danyang Li and Yingjie Xia and Xiaohang Dong and Hualong Yu and Jianye Wang and Qicheng Li},
journal= {arXiv preprint arXiv:2601.13895},
year = {2026}
}