预训练模型时代的非定姿稀疏视角房间布局重建
计算机视觉与模式识别
2025-03-05 v3 人工智能
摘要
由于多视图几何带来的复杂性，从多视角图像进行房间布局估计的研究尚不充分，这需要多步解决方案，如相机内参与外参估计、图像匹配和三角化。然而，在 3D 重建领域，近期 3D 基础模型（如 DUSt3R）的进展已将范式从传统的多步运动恢复结构过程转变为端到端的单步方法。为此，我们引入了 Plane-DUSt3R，一种利用 3D 基础模型 DUSt3R 进行多视图房间布局估计的新方法。Plane-DUSt3R 结合了 DUSt3R 框架，并在房间布局数据集（Structure3D）上进行微调，以改进的目标函数来估计结构平面。通过生成均匀且简洁的结果，Plane-DUSt3R 仅需单一后处理步骤和 2D 检测结果即可实现房间布局估计。与以往依赖单视角或全景图像的方法不同，Plane-DUSt3R 扩展了设定以处理多视角图像。此外，它提供了一种精简的端到端解决方案，简化了流程并减少了误差累积。实验结果表明，Plane-DUSt3R 不仅在合成数据集上优于 SOTA 方法，而且在具有不同图像风格（如卡通）的野外数据上也证明了其鲁棒性和有效性。我们的代码可在以下地址获取：https://github.com/justacar/Plane-DUSt3R
引用
@article{arxiv.2502.16779,
title = {Unposed Sparse Views Room Layout Reconstruction in the Age of Pretrain Model},
author = {Yaxuan Huang and Xili Dai and Jianan Wang and Xianbiao Qi and Yixing Yuan and Xiangyu Yue},
journal= {arXiv preprint arXiv:2502.16779},
year = {2025}
}
备注
Accepted by ICLR 2025. Github page:https://github.com/justacar/Plane-DUSt3R