为自由视角合成建模环境场景动态
计算机视觉与模式识别
2024-06-14 v1
摘要
我们引入了一种新颖的方法，用于从单目拍摄对环境场景进行动态自由视角合成，为观看体验带来沉浸感。我们的方法建立在3D高斯溅射的最新进展之上，该方法能够忠实地重建复杂的静态场景。先前将3DGS扩展到表示动态的尝试局限于有界场景或需要多相机拍摄，并且通常无法泛化到未见过的运动，限制了其实际应用。我们的方法通过利用环境运动的周期性来学习运动轨迹模型，并结合仔细的正则化，克服了这些限制。我们还提出了重要的实用策略，以提高基线3DGS静态重建的视觉质量，并提高对GPU内存密集型学习至关重要的内存效率。我们展示了几个具有复杂纹理和精细结构元素的环境自然场景的高质量逼真新视角合成。
引用
@article{arxiv.2406.09395,
title = {Modeling Ambient Scene Dynamics for Free-view Synthesis},
author = {Meng-Li Shih and Jia-Bin Huang and Changil Kim and Rajvi Shah and Johannes Kopf and Chen Gao},
journal= {arXiv preprint arXiv:2406.09395},
year = {2024}
}