SeFi-CD：一种能够检测你想要的任何变化的语义优先变更检测范式
计算机视觉与模式识别
2024-07-16 v1 人工智能
摘要
现有的变更检测（CD）方法可以总结为视觉优先变更检测（ViFi-CD）范式，即首先从视觉差异中提取变更特征，然后为其分配特定的语义信息。然而，CD本质上依赖于感兴趣变化区域（CRoIs），因此CD结果直接由感兴趣语义变化决定，使其主要图像因素而言是语义相关而非视觉相关。ViFi-CD范式只能将特定的语义感兴趣分配给从视觉差异中提取的特定变更特征，导致潜在CRoI的不可避免遗漏，以及无法适应不同的CRoI CD任务。换言之，除非重新训练模型或显著修改方法，否则ViFi-CD方法无法检测除特定CRoI之外的其他变化。本文引入一种新的CD范式，即语义优先CD（SeFi-CD）范式。SeFi-CD的核心思想是首先感知感兴趣的动态语义，然后在视觉上搜索与该语义相关的变更特征。基于SeFi-CD范式，我们设计了Anything You Want Change Detection（AUWCD）。在公开数据集上的实验表明，AUWCD超过当前最先进的CD方法，在SECOND数据集上实现的平均F1分数提高了5.01%，最高提升13.17%。提出的SeFi-CD提供了一种新的CD视角和方法。
引用
@article{arxiv.2407.09874,
title = {SeFi-CD: A Semantic First Change Detection Paradigm That Can Detect Any Change You Want},
author = {Ling Zhao and Zhenyang Huang and Dongsheng Kuang and Chengli Peng and Jun Gan and Haifeng Li},
journal= {arXiv preprint arXiv:2407.09874},
year = {2024}
}