分割任何变化
计算机视觉与模式识别
2025-02-18 v4
摘要
视觉基础模型在零样本图像分类和分割方面取得了显著成果，但零样本变化检测仍然是一个开放问题。在本文中，我们提出了分割任何变化模型 (AnyChange)，这是一种新型的变化检测模型，支持对未见过的变化类型和数据分布进行零样本预测和泛化。AnyChange 建立在分割任何模型 (SAM) 之上，通过我们的免训练自适应方法——双时相潜在匹配。通过揭示和利用 SAM 潜在空间中的图像内和图像间语义相似性，双时相潜在匹配以无需训练的方式赋予了 SAM 零样本变化检测能力。我们还提出了一种点查询机制，以实现 AnyChange 的零样本以对象为中心的变化检测能力。我们进行了广泛的实验来确认 AnyChange 在零样本变化检测中的有效性。AnyChange 在 SECOND 基准测试的无监督变化检测中创造了新纪录，F 分数比之前的 SOTA 高出多达 4.4%，并且在有监督变化检测中，以可忽略不计的人工标注（每张图像 1 个像素）实现了相当的准确度。代码可在 https://github.com/Z-Zheng/pytorch-change-models 获取。
引用
@article{arxiv.2402.01188,
title = {Segment Any Change},
author = {Zhuo Zheng and Yanfei Zhong and Liangpei Zhang and Stefano Ermon},
journal= {arXiv preprint arXiv:2402.01188},
year = {2025}
}
备注
NeurIPS 2024