基于三视图一致性的双目引导 3D 高斯溅写与稀疏视图合成
计算机视觉与模式识别
2024-10-29 v2
摘要
从稀疏输入合成新视图是 3D 计算机视觉中的一个关键且具有挑战性的任务。以前的方法探索使用神经先验(例如深度先验)作为额外监督, 相较于基于 NeRF 的方法显示出有前景的质量和效率。然而, 来自 2D 预训练模型的神经先验常常是噪声和模糊的, 这难以精确指导辐射场的学习。在本文中, 我们提出了一种无需外部先验监督即可从稀疏视图合成新视图的高斯溅写方法。我们的核心思想在于探索双目视差引导图像扭曲之间每对双目图像所固有的自监督一致性。为此, 我们额外引入了高斯不透明度约束, 正则化高斯位置, 避免高斯冗余, 以提高从稀疏视图推断 3D 高斯的鲁棒性和效率。在 LLFF、DTU 和 Blender 数据集上的大量实验表明, 我们的方法显著优于最新方法。
引用
@article{arxiv.2410.18822,
title = {Binocular-Guided 3D Gaussian Splatting with View Consistency for Sparse View Synthesis},
author = {Liang Han and Junsheng Zhou and Yu-Shen Liu and Zhizhong Han},
journal= {arXiv preprint arXiv:2410.18822},
year = {2024}
}
备注
Accepted by NeurIPS 2024. Project page: https://hanl2010.github.io/Binocular3DGS/