基于视觉语言表征学习的场景变化检测
计算机视觉与模式识别
2026-04-14 v1
摘要
场景变化检测（SCD）对于城市监测和导航至关重要，但在现实环境中面临光照变化、季节性偏移、视角差异和复杂城市布局等挑战。现有方法主要依赖低级视觉特征，限制其准确识别城市场景中视觉复杂性下的目标变化能力。本文提出 LangSCD，一个用于场景变化检测的视觉语言框架，通过语言引入语义推理，以克服单模态局限。我们引入模块化语言组件，利用视觉语言模型（VLM）生成场景变化的文本描述，通过跨模态特征增强器将其与视觉特征融合。进一步引入几何-语义匹配模块，以强制语义一致性和空间完整性来细化预测掩码。现有实景场景变化检测基准仅提供二元变化标注，对于需要对场景动态进行细粒度理解的下游应用不足。为此，我们引入 NYC-CD，一个规模庞大的真实世界图像对数据集，收录于纽约市，包含 8,122 对图像，采用半自动化管道生成多类变化标注。广泛的实验在多个街头视图基准测试上表明，我们的语言和匹配模块一致改进了现有的变化检测架构，实现了最先进的性能，凸显了将语言推理与视觉表征集成以实现稳健场景变化检测的价值。
引用
@article{arxiv.2604.11402,
title = {Scene Change Detection with Vision-Language Representation Learning},
author = {Diwei Sheng and Vijayraj Gohil and Satyam Gaba and Zihan Liu and Giles Hamilton-Fletcher and John-Ross Rizzo and Yongqing Liang and Chen Feng},
journal= {arXiv preprint arXiv:2604.11402},
year = {2026}
}