用于高保真单目动态场景重建的可变形 3D 高斯
计算机视觉与模式识别
2023-11-22 v2
摘要
隐式神经表示已为动态场景重建与渲染的新方法铺平了道路。然而，前沿的动态神经渲染方法严重依赖这些隐式表示，往往难以捕捉场景中物体的精细细节。此外，隐式方法通常难以在一般动态场景中实现实时渲染，限制了其在多种任务中的应用。为解决这些问题，我们提出一种可变形 3D 高斯溅射方法，利用 3D 高斯重建场景，并在规范空间中通过形变场学习它们以建模单目动态场景。我们还引入了一种无额外开销的退火平滑训练机制，可减轻不准确位姿对真实世界数据集中时间插值任务平滑性的影响。通过差分高斯栅格化器，可变形 3D 高斯不仅实现了更高的渲染质量，还达到了实时渲染速度。实验表明，我们的方法在渲染质量与速度上均显著优于现有方法，非常适用于新视角合成、时间插值与实时渲染等任务。
引用
@article{arxiv.2309.13101,
title = {Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction},
author = {Ziyi Yang and Xinyu Gao and Wen Zhou and Shaohui Jiao and Yuqing Zhang and Xiaogang Jin},
journal= {arXiv preprint arXiv:2309.13101},
year = {2023}
}