面向曼哈顿世界单幅图像三维线重建的新颖单视图约束

本文提出一种新颖且精确的方法，利用曼哈顿世界假设从单幅图像重建基于线的三维结构。该问题是一个明显未解决的问题，因为从单幅图像可能得到多个三维重建结果。因此，我们常常被迫寻找诸如曼哈顿世界假设和常见场景结构之类的先验。除了标准的正交性、透视投影和平行性约束外，我们研究了基于三维场景结构物理可实现性的一些新颖约束。我们将图像中的线段视为类似于吸管和连接器游戏中的图的一部分，其目标是将线段反向投影到三维空间中，同时确保其中一些三维线段彼此连接（即在三维空间中真实相交）以形成三维结构。在求解重建时，我们考虑三组新颖约束：（1）对形成环但并非全部物理可实现的曼哈顿线交点序列的约束，（2）对位于同一曼哈顿平面上的邻近线的真实与虚假交点的约束，以及（3）来自边界与非边界线段上交点的约束。重建通过混合整数线性规划（MILP）实现，我们在真实图像上展示了令人信服的结果。随本文一起，我们将发布一个具有挑战性的单视图线重建数据集，包含真实三维线模型以供研究使用。