PlaneMVS：基于多视图立体的三维平面重建

我们提出一种名为 PlaneMVS 的新框架，用于从具有已知相机位姿的多张输入视图中重建三维平面。以往多数基于学习的平面重建方法从单幅图像重建三维平面，高度依赖单视图回归并受深度尺度模糊影响。相反，我们利用多视图几何优势，通过多视图立体（MVS）流程重建三维平面。我们将平面重建解耦为语义平面检测分支与平面 MVS 分支。语义平面检测分支基于单视图平面检测框架但有所区别。平面 MVS 分支采用一组倾斜平面假设替代常规深度假设来执行平面扫描策略，并最终学习像素级平面参数及其平面深度图。我们展示了两个分支如何以平衡方式学习，并提出软池化损失以关联两分支输出并使其相互受益。在各种室内数据集上的大量实验表明，PlaneMVS 在平面检测与三维几何指标上均显著优于最先进（SOTA）的单视图平面重建方法。得益于学到的平面先验，我们的方法甚至优于一组 SOTA 基于学习的 MVS 方法。据我们所知，这是首个在端到端 MVS 框架内进行三维平面重建的工作。源代码：https://github.com/oppo-us-research/PlaneMVS。