FaceOff: 一种视频到视频换脸系统
计算机视觉与模式识别
2022-10-25 v2
摘要
替身演员在电影行业中扮演着不可或缺的角色。他们在危险特技场景或同一演员分饰多角的场景中替代演员。随后,替身的面部通过昂贵的CGI技术手动替换为演员的面部与表情,耗资数百万美元且需数月完成。一种自动化、低成本且快速的方式是使用换脸技术,旨在将源人脸视频(或图像)的身份替换到目标人脸视频上。然而,此类方法无法保留对场景语境至关重要的演员源表情。为应对该挑战,我们引入视频到视频(V2V)换脸,一种能够保留(1)源(演员)人脸视频的身份与表情以及(2)目标(替身)视频的背景与姿态的新型换脸任务。我们提出FaceOff,一种通过学习鲁棒混合操作以在上述约束下合并两个人脸视频的V2V换脸系统。它将视频降维至量化潜空间,随后在降维空间中混合。FaceOff以自监督方式训练,并鲁棒地应对V2V换脸的非平凡挑战。如实验部分所示,FaceOff在定性与定量上均显著优于替代方法。
引用
@article{arxiv.2208.09788,
title = {FaceOff: A Video-to-Video Face Swapping System},
author = {Aditya Agarwal and Bipasha Sen and Rudrabha Mukhopadhyay and Vinay Namboodiri and C. V. Jawahar},
journal= {arXiv preprint arXiv:2208.09788},
year = {2022}
}
备注
Accepted at WACV 2023