PV3D：一种用于肖像视频生成的3D生成模型
计算机视觉与模式识别
2023-06-22 v3
摘要
生成对抗网络（GANs）最近的进展已展示了生成惊人照片级真实感肖像图像的能力。虽然一些先前工作已将此类图像GAN应用于无条件的2D肖像视频生成和静态3D肖像合成，但很少有工作成功扩展GAN用于生成3D感知的肖像视频。在本工作中，我们提出PV3D，首个能够合成多视角一致肖像视频的生成框架。具体而言，我们的方法通过将最近的静态3D感知图像GAN推广到视频域，将3D隐式神经表示泛化以建模时空空间。为向生成过程引入运动动态，我们通过堆叠多个运动层以通过调制卷积生成运动特征，开发了运动生成器。为缓解由相机/人体运动引起的运动歧义，我们为PV3D提出一种简单而有效的相机条件策略，实现时间一致和多视角一致的视频生成。此外，PV3D引入两个判别器以正则化空间和时间域，确保生成的肖像视频的合理性。这些精心设计使PV3D能够生成具有高质量外观和几何的3D感知、运动合理的肖像视频，显著优于先前工作。因此，PV3D能够支持许多下游应用，如动画化静态肖像和视角一致的视频运动编辑。代码和模型发布于 https://showlab.github.io/pv3d。
引用
@article{arxiv.2212.06384,
title = {PV3D: A 3D Generative Model for Portrait Video Generation},
author = {Zhongcong Xu and Jianfeng Zhang and Jun Hao Liew and Wenqing Zhang and Song Bai and Jiashi Feng and Mike Zheng Shou},
journal= {arXiv preprint arXiv:2212.06384},
year = {2023}
}
备注
Accepted to ICLR2023, Project Page https://showlab.github.io/pv3d