DNGaussian:利用全局 - 局部深度归一化优化稀疏视角 3D 高斯辐射场
计算机视觉与模式识别
2024-03-26 v3
摘要
辐射场在从稀疏输入视角合成新视角方面展现了令人印象深刻的性能,然而主流方法受限于高昂的训练成本和缓慢的推理速度。本文介绍了 DNGaussian,这是一种基于 3D 高斯辐射场的深度正则化框架,能够以低成本实现实时、高质量的少样本新视角合成。我们的动机源于近期 3D 高斯泼溅(3D Gaussian Splatting)的高效表示和惊人质量,尽管其在输入视角减少时会遇到几何退化问题。在高斯辐射场中,我们发现这种场景几何退化主要与高斯原语的定位有关,并可通过深度约束予以缓解。因此,我们提出了硬性和软性深度正则化,旨在粗略的单目深度监督下恢复准确的场景几何,同时保持细粒度的颜色外观。为了进一步细化详细的几何重塑,我们引入了全局 - 局部深度归一化,以增强对微小局部深度变化的关注。在 LLFF、DTU 和 Blender 数据集上的大量实验表明,DNGaussian 优于最先进的方法,以显著降低的内存成本取得了相当或更好的结果,训练时间减少了 ,渲染速度提高了 以上。
引用
@article{arxiv.2403.06912,
title = {DNGaussian: Optimizing Sparse-View 3D Gaussian Radiance Fields with Global-Local Depth Normalization},
author = {Jiahe Li and Jiawei Zhang and Xiao Bai and Jin Zheng and Xin Ning and Jun Zhou and Lin Gu},
journal= {arXiv preprint arXiv:2403.06912},
year = {2024}
}
备注
Accepted at CVPR 2024. Project page: https://fictionarry.github.io/DNGaussian/