你所期望看见的变化（现为 3D 版）
计算机视觉与模式识别
2023-09-12 v2
摘要
本文的目标是检测在同一 3D 场景的两张“真实环境”图像之间（若有的话）发生了什么变化，这两张图像采集自不同相机位姿与不同时间。该问题的开集性质、因视角偏移导致的遮挡/去遮挡，以及缺乏合适的训练数据集，给解决方案的设计带来了重大挑战。为应对此问题，我们贡献了一个完全在合成数据上训练且与类别无关的变更检测模型，该模型无需微调即可在真实世界图像上开箱即用且表现良好。我们的方案采用“配准并差分”方法，利用自监督冻结嵌入与特征差异，使模型能泛化至广泛场景与领域。该模型可直接作用于两张 RGB 图像，无需真实相机内参、外参、深度图、点云或额外的先后图像。最后，我们收集并发布了一个由真实世界图像对组成、带人工标注差异的新评估数据集，并展示了我们方法的有效性。代码、数据集与预训练模型见：https://github.com/ragavsachdeva/CYWS-3D
引用
@article{arxiv.2308.10417,
title = {The Change You Want to See (Now in 3D)},
author = {Ragav Sachdeva and Andrew Zisserman},
journal= {arXiv preprint arXiv:2308.10417},
year = {2023}
}