CoR-GS:基于协同正则化的稀疏视角 3D Gaussian Splatting
计算机视觉与模式识别
2024-07-12 v2
摘要
3D Gaussian Splatting (3DGS) 创建由 3D 高斯组成的辐射场来表示场景。在稀疏训练视角下,3DGS 容易产生过拟合,对渲染产生负面影响。本文引入了一种新的协同正则化视角以改进稀疏视角 3DGS。在训练两个 3D 高斯辐射场时,我们观察到这两个辐射场表现出点不一致和渲染不一致,这能够无监督地预测重建质量,其源于致密化实现的随机性。我们进一步量化了这两种不一致,并证明了它们与精确重建之间的负相关性,使我们能够在不访问真值信息的情况下识别不准确的重建。基于该研究,我们提出了 CoR-GS,它基于这两种不一致来识别并抑制不准确的重建:(1) 协同剪枝考虑在不准确位置表现出高点不一致的高斯并将其剪枝;(2) 伪视角协同正则化考虑表现出高渲染不一致的像素是不准确的,并抑制该不一致。在 LLFF、Mip-NeRF360、DTU 和 Blender 上的结果表明,CoR-GS 有效地正则化了场景几何,重建了紧凑的表示,并在稀疏训练视角下实现了 SOTA 的新视角合成质量。
引用
@article{arxiv.2405.12110,
title = {CoR-GS: Sparse-View 3D Gaussian Splatting via Co-Regularization},
author = {Jiawei Zhang and Jiahe Li and Xiaohan Yu and Lei Huang and Lin Gu and Jin Zheng and Xiao Bai},
journal= {arXiv preprint arXiv:2405.12110},
year = {2024}
}
备注
Accepted at ECCV 2024. Project page: https://jiaw-z.github.io/CoR-GS/