中文

MVSplat:从稀疏多视图图像中高效进行 3D Gaussian Splatting

计算机视觉与模式识别 2024-10-29 v2

摘要

我们引入了 MVSplat,这是一种高效的模型,以稀疏多视图图像作为输入,预测干净的前馈 3D Gaussians。为了精确定位 Gaussian 中心,我们通过平面扫描构建代价卷表示,其中存储在代价卷中的跨视图特征相似性可以为深度估计提供有价值的几何线索。我们还在仅依赖光度监督的情况下,联合学习其他 Gaussian 基元的参数与 Gaussian 中心。我们通过广泛的实验评估,证明了代价卷表示在学习前馈 Gaussians 中的重要性。在大规模的 RealEstate10K 和 ACID 基准上,MVSplat 以最快的前馈推理速度(22~fps)取得了最先进的性能。更令人印象深刻的是,与最新的最先进方法 pixelSplat 相比,MVSplat 使用的参数量减少了 10×10\times,推理速度快 2×2\times 以上,同时提供了更高的外观和几何质量以及更好的跨数据集泛化能力。

关键词

引用

@article{arxiv.2403.14627,
  title  = {MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images},
  author = {Yuedong Chen and Haofei Xu and Chuanxia Zheng and Bohan Zhuang and Marc Pollefeys and Andreas Geiger and Tat-Jen Cham and Jianfei Cai},
  journal= {arXiv preprint arXiv:2403.14627},
  year   = {2024}
}

备注

ECCV2024, Project page: https://donydchen.github.io/mvsplat, Code: https://github.com/donydchen/mvsplat