用于可控肖像图像动画的三维 GAN 反演
计算机视觉与模式识别
2022-03-28 v1 图形学
机器学习
摘要
每天都会捕获数百万张人脸图像；但这些照片以固定姿态、表情和外观描绘个体的肖像。肖像图像动画能够在保持对主体肖像或身份的真实感重建的同时，从单张图像对这些属性进行拍摄后调整。然而，当前的肖像图像动画方法通常基于 2D 扭曲操作或二维生成对抗网络（GAN）的操纵，缺乏显式机制来强制多视角一致性。因此这些方法可能显著改变主体身份，尤其在相对于相机的视点改变时。本工作中，我们利用新开发的三维 GAN，其允许对图像主体的姿态进行显式控制并保持多视角一致性。我们提出一种监督策略，利用三维可变形模型灵活操纵表情，并展示所提方法也支持通过在 GAN 的潜空间中插值来编辑外观属性，如年龄或发型。所提肖像图像动画技术在图像质量、身份保持和姿态迁移方面优于先前方法，同时也支持属性编辑。
引用
@article{arxiv.2203.13441,
title = {3D GAN Inversion for Controllable Portrait Image Animation},
author = {Connor Z. Lin and David B. Lindell and Eric R. Chan and Gordon Wetzstein},
journal= {arXiv preprint arXiv:2203.13441},
year = {2022}
}
备注
Project page: https://www.computationalimaging.org/publications/3dganinversion/