VIVE3D：基于三维感知 GAN 的视角无关视频编辑
计算机视觉与模式识别
2023-03-29 v1 图形学
机器学习
摘要
我们提出 VIVE3D，一种将基于图像的三维 GAN 能力扩展至视频编辑的新方法，能够以保持身份且时间一致的方式表示输入视频。我们提出两个新构建模块。首先，我们引入一种专为三维 GAN 设计的新型 GAN 反演技术，通过联合嵌入多帧并优化相机参数实现。其次，除传统的语义人脸编辑（如年龄与表情）外，我们利用三维 GAN 的固有特性以及我们的光流引导合成技术，将头部与背景视频结合，首次展示了呈现头部新视角的编辑效果。我们的实验表明，VIVE3D 能从一系列相机视角生成高保真人脸编辑，并以时间和空间一致的方式与原视频合成。
引用
@article{arxiv.2303.15893,
title = {VIVE3D: Viewpoint-Independent Video Editing using 3D-Aware GANs},
author = {Anna Frühstück and Nikolaos Sarafianos and Yuanlu Xu and Peter Wonka and Tony Tung},
journal= {arXiv preprint arXiv:2303.15893},
year = {2023}
}
备注
CVPR 2023. Project webpage and video available at http://afruehstueck.github.io/vive3D