MaskRenderer：融合三维信息的多掩码逼真人脸重演
计算机视觉与模式识别
2023-09-12 v1
摘要
我们提出了一种新颖的端到端、身份无关的人脸重演系统 MaskRenderer，能够实时生成逼真、高保真度的帧。尽管近期的人脸重演工作已展现出有前景的结果，但仍存在显著挑战，如身份泄漏以及模仿嘴部运动，尤其是在大姿态变化和遮挡人脸的情况下。MaskRenderer 通过以下方式解决这些问题：(i) 使用 3DMM 建模三维人脸结构，相较于二维表示更好地处理姿态变化、遮挡和嘴部运动；(ii) 三元组损失函数在训练中嵌入跨重演以更好地保持身份；(iii) 多尺度遮挡，改进修复并恢复缺失区域。在 VoxCeleb1 测试集上进行的全面定量与定性实验表明，MaskRenderer 在未见人脸上的表现优于 SOTA 模型，尤其在源身份与驱动身份差异很大时。
引用
@article{arxiv.2309.05095,
title = {MaskRenderer: 3D-Infused Multi-Mask Realistic Face Reenactment},
author = {Tina Behrouzi and Atefeh Shahroudnejad and Payam Mousavi},
journal= {arXiv preprint arXiv:2309.05095},
year = {2023}
}