虚拟对应：以人为极端视角几何的线索

从极端视角图像中恢复相机的空间布局与场景几何是计算机视觉中长期的挑战。主流的三维重建算法常采用图像匹配范式，并假定场景的一部分在图像间共同可见，在输入间重叠很少时性能不佳。相比之下，人类能通过形状先验知识将一张图像中可见部分与另一图像中对应的不可见部分相关联。受此启发，我们提出一种称为虚拟对应（VCs）的新概念。VCs是来自两幅图像的像素对，其相机射线在三维中相交。与经典对应类似，VCs符合对极几何；不同于经典对应，VCs无需跨视角共同可见。因此即使图像不重叠，也可建立并利用VCs。我们引入一种基于场景中人的方法来寻找虚拟对应。我们展示了VCs如何无缝集成经典束调整以恢复极端视角间的相机位姿。实验表明，在挑战性场景中我们的方法显著优于最先进的相机位姿估计方法，在传统密集采集设定下具有可比性。我们的方法也释放了极端视角场景下多视图立体场景重建与新视角合成等下游任务的潜力。