动态三维高斯：基于持续动态视图合成的跟踪
计算机视觉与模式识别
2023-08-21 v1
摘要
我们提出一种同时解决动态场景新视角合成与所有稠密场景元素六自由度（6-DOF）跟踪任务的方法。我们遵循分析-合成框架，受近期将场景建模为一组三维高斯的工作启发，这些高斯通过可微渲染优化以重建输入图像。为建模动态场景，我们允许高斯随时间移动和旋转，同时强制其具有持久的颜色、不透明度和尺寸。通过局部刚性约束正则化高斯的移动与旋转，我们表明我们的动态三维高斯能正确建模随时间变化的同一物理空间区域，包括该空间的旋转。稠密六自由度跟踪与动态重建自然地从持续动态视图合成中涌现，无需任何对应或光流作为输入。我们展示了由我们的表示所赋能的大量下游应用，包括第一人称视角合成、动态组合场景合成和 4D 视频编辑。
引用
@article{arxiv.2308.09713,
title = {Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis},
author = {Jonathon Luiten and Georgios Kopanas and Bastian Leibe and Deva Ramanan},
journal= {arXiv preprint arXiv:2308.09713},
year = {2023}
}