MVSGaussian：从多视图立体重建中快速泛化的高斯泼溅重建
计算机视觉与模式识别
2024-07-16 v3
摘要
我们提出了 MVSGaussian，一种源自多视图立体（MVS）的新型可泛化 3D 高斯表示方法，能够高效重建未见场景。具体而言，1) 我们利用 MVS 编码几何感知的高斯表示并将其解码为高斯参数。2) 为了进一步提升性能，我们提出了一种混合高斯渲染方法，集成了用于新视图合成的高效体渲染设计。3) 为了支持特定场景的快速微调，我们引入了一种多视图几何一致性聚合策略，以有效聚合由可泛化模型生成的点云，作为逐场景优化的初始化。与以往通常需要数分钟微调和每张图像数秒渲染的基于 NeRF 的可泛化方法相比，MVSGaussian 为每个场景实现了具有更好合成质量的实时渲染。与原始 3D-GS 相比，MVSGaussian 以更少的训练计算成本实现了更好的视图合成。在 DTU、Real Forward-facing、NeRF Synthetic 和 Tanks and Temples 数据集上的大量实验验证了 MVSGaussian 取得了 SOTA 性能，具有令人信服的泛化能力、实时渲染速度和快速的逐场景优化。
引用
@article{arxiv.2405.12218,
title = {MVSGaussian: Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo},
author = {Tianqi Liu and Guangcong Wang and Shoukang Hu and Liao Shen and Xinyi Ye and Yuhang Zang and Zhiguo Cao and Wei Li and Ziwei Liu},
journal= {arXiv preprint arXiv:2405.12218},
year = {2024}
}
备注
ECCV2024, Project page: https://mvsgaussian.github.io/ , Code: https://github.com/TQTQliu/MVSGaussian