将显式凝视约束引入换脸

换脸将一张人脸的身份与另一张人脸的非外观属性（表情、头部姿态、光照）结合以生成合成人脸。该技术正快速发展，但在重建某些属性（尤其是凝视）时表现不佳。考虑整张人脸的基于图像的损失度量并不能有效捕捉感知上重要但空间上狭小的眼部区域。改善换脸中的凝视可提升自然度与真实感，有益于娱乐、人机交互等领域的应用。改善后的凝视也将直接助力 Deepfake 检测，可作为依赖凝视进行分类的分类器的理想训练数据。我们提出了一种新颖的损失函数，利用凝视预测在训练过程中引导换脸模型，并与现有方法进行比较。我们发现所有方法均能显著改善所得换脸中的凝视。