3D感知的视频生成
计算机视觉与模式识别
2023-08-10 v4 机器学习
摘要
生成模型已成为许多图像合成与编辑任务的重要基石。该领域近期的进展也使得高质量3D或视频内容得以生成，并展现出多视角或时间一致性。在我们的工作中，我们探索学习无条件生成3D感知视频的4D生成对抗网络（GAN）。通过将神经隐式表示与时间感知判别器结合，我们开发了一种仅以单目视频监督即可合成3D视频的GAN框架。我们表明，我们的方法学习了可分解3D结构与运动的丰富嵌入，能够实现时空渲染的新视觉效果，同时生成质量可与现有3D或视频GAN相媲美的图像。
引用
@article{arxiv.2206.14797,
title = {3D-Aware Video Generation},
author = {Sherwin Bahmani and Jeong Joon Park and Despoina Paschalidou and Hao Tang and Gordon Wetzstein and Leonidas Guibas and Luc Van Gool and Radu Timofte},
journal= {arXiv preprint arXiv:2206.14797},
year = {2023}
}
备注
TMLR 2023; Project page: https://sherwinbahmani.github.io/3dvidgen