OpenDPR：面向遥感图像的开放词汇变更检测 via Vision-Centric Diffusion-Guided Prototype Retrieval

开放词汇变更检测 (OVCD) 旨在通过使模型能够在固定预定义类别之外实现一般化，从而识别任意感兴趣变更。我们将 OVCD 重新定义为两个阶段的管线：首先使用视觉基础模型 (VFM) 如 SAM 和 DINOv2 生成类别无关的变更提案，然后使用视觉语言模型 (VLM) 如 CLIP 进行类别识别。我们指出，类别识别错误是 OVCD 的主要瓶颈，主要由于基于图像-文本匹配的 VLM 受限于表示细粒度地物覆盖类别的能力。为此，我们提出了 OpenDPR，一个训练-free、面向视觉的扩散引导的 prototype 检索框架。OpenDPR 利用扩散模型在离线构建目标类别的多样化原型，并在推理期间在视觉空间中执行相似性检索。次要瓶颈在于变更局部化，由于 VFM 本身缺乏变更先验。为弥合这一差距，我们设计了一个空间到变更的弱监督变更检测模块，命名为 S2C，以适配其强大的空间建模能力用于变更局部化。将预训练的 S2C 集成到 OpenDPR 中，导致一个可选的弱监督变体 named OpenDPR-W，该变体在最小化监督情况下进一步提高 OVCD 性能。在四个基准数据集上的实验结果表明，所提出的方法在两种监督模式下均实现了最佳性能。代码可在 https://github.com/guoqi2002/OpenDPR 查阅。