GaussianPrediction:用于运动外推和自由视角合成的动态3D高斯预测
计算机视觉与模式识别
2024-05-31 v1 图形学
摘要
预测动态环境中的未来场景对于智能决策和导航至关重要,这一挑战在计算机视觉和机器人学中尚未完全实现。传统方法如视频预测和新视角合成要么缺乏从任意视角预测的能力,要么无法预测时间动态。本文提出GaussianPrediction,一种新颖框架,赋予3D高斯表示动态场景建模和未来场景合成能力。GaussianPrediction可以利用动态场景的视频观测从任意视角预测未来状态。为此,我们首先提出带有变形建模的3D高斯规范空间,以捕捉动态场景的外观和几何,并将生命周期属性集成到高斯中处理不可逆变形。为了使预测可行且高效,我们开发了一种同心运动蒸馏方法,通过关键点蒸馏场景运动。最后,使用图卷积网络预测关键点的运动,从而能够渲染未来场景的照片级真实图像。我们的框架在合成和真实数据集上均表现出色,证明了其在预测和渲染未来环境方面的有效性。
引用
@article{arxiv.2405.19745,
title = {GaussianPrediction: Dynamic 3D Gaussian Prediction for Motion Extrapolation and Free View Synthesis},
author = {Boming Zhao and Yuan Li and Ziyu Sun and Lin Zeng and Yujun Shen and Rui Ma and Yinda Zhang and Hujun Bao and Zhaopeng Cui},
journal= {arXiv preprint arXiv:2405.19745},
year = {2024}
}
备注
Accepted to SIGGRAPH 2024 Conference. Project Page: https://zju3dv.github.io/gaussian-prediction/