百万像素级单次人脸重演
计算机视觉与模式识别
2022-05-27 v1
摘要
人脸重演的目标是在保持源人脸身份的同时，将目标表情和头部姿态迁移到源人脸上。随着人脸相关应用的普及，该课题已有大量研究。然而，现有方法的结果仍局限于低分辨率且缺乏真实感。本工作中，我们提出一种称为 MegaFR 的单次高分辨率人脸重演方法。具体而言，我们利用 StyleGAN 并基于 3DMM 的渲染图像，通过设计无需高质量视频即可工作的损失函数，克服了高质量视频数据集的缺乏。此外，我们应用迭代优化以应对极端姿态和/或表情。由于所提方法通过 3DMM 参数控制源图像，我们可以显式地操控源图像。我们将 MegaFR 应用于人脸正面化、眼睛修复和说话头生成等多种应用。实验结果表明，我们的方法成功解耦了身份与表情及头部姿态，并优于传统方法。
引用
@article{arxiv.2205.13368,
title = {One-Shot Face Reenactment on Megapixels},
author = {Wonjun Kang and Geonsu Lee and Hyung Il Koo and Nam Ik Cho},
journal= {arXiv preprint arXiv:2205.13368},
year = {2022}
}
备注
29 pages, 19 figures