Doppelgangers：学习消解相似结构图像的歧义
计算机视觉与模式识别
2023-09-06 v1
摘要
我们考虑一种视觉消歧任务，即判定一对视觉相似的图像是否描绘相同或不同的 3D 表面（例如，对称建筑的同一面或相对两面）。错觉图像匹配中，两幅图像观测的是不同但视觉相似的 3D 表面，人类难以区分，也会导致 3D 重建算法产生错误结果。我们提出一种基于学习的视觉消歧方法，将其表述为图像对的二分类任务。为此，我们引入该问题的新数据集 Doppelgangers，包含带有真值标签的相似结构图像对。我们还设计了一种以局部关键点与匹配的空间分布为输入的网络架构，从而更好地利用局部与全局线索进行推理。我们的评估表明，该方法能在困难情形下区分错觉匹配，并可集成到 SfM 流水线中以生成正确的、消歧后的 3D 重建。代码、数据集及更多结果见项目主页：http://doppelgangers-3d.github.io/。
引用
@article{arxiv.2309.02420,
title = {Doppelgangers: Learning to Disambiguate Images of Similar Structures},
author = {Ruojin Cai and Joseph Tung and Qianqian Wang and Hadar Averbuch-Elor and Bharath Hariharan and Noah Snavely},
journal= {arXiv preprint arXiv:2309.02420},
year = {2023}
}
备注
Published in ICCV 2023 (Oral); Project page: http://doppelgangers-3d.github.io/