通过以注视点为中心的损失项缓解人脸交换中的恐怖谷效应

人脸交换技术的进步使得自动生成高度逼真的人脸成为可能。然而，与观看真实人脸相比，人脸交换的感知有所不同，观众行为的关键差异集中在眼部区域。人脸交换算法通常不重视眼睛，而是依赖考虑整张脸的像素或特征匹配损失来指导训练过程。我们进一步研究了观众对人脸交换的感知，重点分析了恐怖谷效应的存在。此外，我们提出了一种用于训练人脸交换模型的新型损失方程，利用预训练的注视估计网络来直接改善眼睛的表征。我们证实，观看人脸交换确实会引发观众的恐怖谷反应。我们提出的改进显著减少了人脸交换与其源素材之间的视角误差。我们的方法还降低了在观众执行深度伪造检测任务时，眼睛作为决定性因素的普遍性。我们的发现对用于特效、数字化身、隐私机制等的人脸交换具有启示意义；用户的负面反应可能会限制这些应用的有效性。我们的注视改进是通过针对性方法减轻负面观众感知的第一步。