MonoPlane：利用单目几何线索进行可泛化的3D平面重建

本文提出了一种名为MonoPlane的可泛化3D平面检测与重建框架。与以往需要多张图像或RGB-D输入的基于鲁棒估计器的工作以及受域偏移困扰的基于学习的工作不同，MonoPlane结合了两种方法的优点，建立了一个基于单目几何线索的平面重建流水线，从而实现了在野外环境中准确、鲁棒且可扩展的3D平面检测与重建。具体而言，我们首先利用大规模预训练神经网络从单张图像中获取深度和表面法线。随后将这些单目几何线索纳入基于邻近度引导的RANSAC框架，以顺序拟合每个平面实例。我们利用有效的3D点邻近度，并通过RANSAC内部的图来建模这种邻近度，从而指导从噪声单目深度中进行平面拟合，随后进行图像级多平面联合优化以提高所有平面实例之间的一致性。我们进一步设计了一个简单但有效的流水线，将这种单视图解决方案扩展到稀疏视图3D平面重建。在一系列数据集上的大量实验证明了我们相对于基线的优越零样本泛化能力，在迁移设置中实现了最先进的平面重建性能。我们的代码可在 https://github.com/thuzhaowang/MonoPlane 获取。