MVBoost：通过多视角细化提升 3D 重建
计算机视觉与模式识别
2024-12-03 v2 人工智能
摘要
近期的 3D 物体重建取得了显著进展，但大多数当前 3D 模型依赖现有的 3D 数据集。多样化的 3D 数据集的稀缺性导致了 3D 重建模型的泛化能力受限。本文提出一种新框架，通过生成伪 GT 数据来提升 3D 重建（称为 MVBoost）。MVBoost 的关键在于结合多视角生成模型的高精度和 3D 重建模型的一致性，以创建可靠的数据源。具体而言，给定单视图输入图像，我们采用多视角扩散模型生成多个视角，然后使用大型 3D 重建模型生成一致的 3D 数据。MVBoost 然后对这些多视角图像进行自适应细化，从而为训练前馈 3D 重建模型构建大型多视角数据集。此外，设计了输入视角优化，以根据用户输入图像优化相应视角，确保最重要的视角准确匹配用户需求。广泛的评估表明，我们的方法在重建效果和鲁健性方面均优于先前工作。
引用
@article{arxiv.2411.17772,
title = {MVBoost: Boost 3D Reconstruction with Multi-View Refinement},
author = {Xiangyu Liu and Xiaomei Zhang and Zhiyuan Ma and Xiangyu Zhu and Zhen Lei},
journal= {arXiv preprint arXiv:2411.17772},
year = {2024}
}