GaussianFlow：用于4D内容创建的高斯动态泼溅
计算机视觉与模式识别
2024-05-15 v2
摘要
从图像或视频创建高斯泼溅的4D场是一项具有挑战性的任务，因为其约束不足。虽然优化过程可以从输入视频中获取光度参考，或由生成模型进行调控，但直接监督高斯运动仍未被充分探索。本文引入一个新概念——高斯流，它将3D高斯的动态与连续帧之间的像素速度联系起来。高斯流可以通过将高斯动态泼溅到图像空间中高效获得。这一可微过程使得能够利用光流进行直接的动态监督。我们的方法显著有益于4D动态内容生成和基于高斯泼溅的4D新视角合成，尤其对于现有方法难以处理的富含运动的内容。常见的4D生成中出现的颜色漂移问题也通过改进的高斯动态得以解决。大量实验中的卓越视觉质量证明了我们方法的有效性。定量和定性评估表明，我们的方法在4D生成和4D新视角合成两项任务上均取得了最先进的结果。项目页面：https://zerg-overmind.github.io/GaussianFlow.github.io/
引用
@article{arxiv.2403.12365,
title = {GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation},
author = {Quankai Gao and Qiangeng Xu and Zhe Cao and Ben Mildenhall and Wenchao Ma and Le Chen and Danhang Tang and Ulrich Neumann},
journal= {arXiv preprint arXiv:2403.12365},
year = {2024}
}