自动人脸重演

我们提出了一种基于图像的面部重演系统，该系统将现有目标视频中演员的脸部替换为来自源视频用户的脸部，同时保留原始目标的表演。我们的系统完全自动，且不需要源表情数据库。相反，它能够利用现成相机（如网络摄像头）拍摄的短源视频产生令人信服的重演结果，其中用户做出任意面部姿态。我们的重演流程被构想为部分图像检索和部分人脸传输：图像检索基于目标帧的时间聚类和一种结合外观与运动的新颖图像匹配度量，从源视频中选择候选帧，而人脸传输使用保留用户身份的 2D 扭曲策略。我们的系统以简洁见长，因为它不依赖 3D 人脸模型，在头部运动下具有鲁棒性，且不要求源和目标表演相似。我们展示了针对自行录制视频和从互联网获取的低成本素材的令人信服的重演结果。