迈向基于单张图像的自然场景 3D 平面重建
计算机视觉与模式识别
2025-06-04 v1
摘要
从单张图像进行 3D 平面重建是 3D 计算机视觉中一个至关重要且极具挑战性的课题。先前的 SOTA 方法侧重于在来自室内或室外单一领域的数据集上训练其系统，限制了其在多样化测试数据上的泛化能力。在本工作中，我们引入了一个名为 ZeroPlane 的新框架，这是一个基于 Transformer 的模型，旨在跨多样领域和环境从单张图像实现零样本 3D 平面检测与重建。为了实现跨多领域的数据驱动模型，我们构建了一个大规模平面基准，包含超过 14 个数据集和 560,000 个针对多样室内外场景的高分辨率、密集平面标注。为了应对多数据集训练中实现理想平面几何的挑战，我们提出解耦平面法向量和偏移量的表示，并采用范例引导的“先分类后回归”范式分别学习平面和偏移量。此外，我们采用先进的骨干网络作为图像编码器，并提出一个有效的像素几何增强平面嵌入模块，以进一步促进平面重建。在多个零样本评估数据集上的广泛实验表明，我们的方法在重建精度和泛化能力上均显著优于先前的方法，尤其是在自然场景数据上。我们的代码和数据可在以下网址获取：https://github.com/jcliu0428/ZeroPlane。
引用
@article{arxiv.2506.02493,
title = {Towards In-the-wild 3D Plane Reconstruction from a Single Image},
author = {Jiachen Liu and Rui Yu and Sili Chen and Sharon X. Huang and Hengkai Guo},
journal= {arXiv preprint arXiv:2506.02493},
year = {2025}
}
备注
CVPR 2025 Highlighted Paper