MUSt3R：用于立体3D重建的多视图网络
计算机视觉与模式识别
2025-03-04 v1
摘要
DUSt3R在几何计算机视觉领域提出了一种新范式，提出一种可提供任意图像集合的稠密且无约束的立体3D重建模型，无需关于相机标定或视点姿态的先验信息。然而，DUSt3R仅处理图像对，回归局部3D重建，且需要在全局坐标系中对其进行对齐。图像对数量随之呈二次增长，这在处理大规模图像集合时尤其引发对鲁棒且快速优化的关切。在本文中，我们提出了DUSt3R从图像对扩展至多视图的方案，解决了上述所有关切。我们提出了用于立体3D重建的多视图网络（MUSt3R），该网络修改DUSt3R架构，使其对称性更强，并能直接预测所有视图在统一坐标系中的3D结构。此外，我们引入多层记忆机制，该机制允许降低计算复杂度并扩展重建规模，对大量图像进行高帧率推断3D点图，且增加的复杂度有限。该框架可用于离线和在线3D重建，因而可无缝应用于结构从运动（SfM）和视觉SLAM场景，在各种3D下游任务上实现最先进的性能，包括未标定的视觉里程计、相对相机姿态、尺度和焦距估计、3D重建和多视图深度估计。
引用
@article{arxiv.2503.01661,
title = {MUSt3R: Multi-view Network for Stereo 3D Reconstruction},
author = {Yohann Cabon and Lucas Stoffl and Leonid Antsfeld and Gabriela Csurka and Boris Chidlovskii and Jerome Revaud and Vincent Leroy},
journal= {arXiv preprint arXiv:2503.01661},
year = {2025}
}
备注
Accepted at CVPR 2025