从人脸循环一致性中学习人脸表征

人脸在身份、表情、姿态和人脸风格等诸多方面表现出巨大差异。因此，从这些人脸图像中解耦并提取这些特征是一项巨大挑战，尤其在无监督方式下。本工作中，我们引入人脸特征上的循环一致性作为免费监督信号，从未标注人脸图像中学习人脸表征。该学习通过叠加人脸运动循环一致性约束与身份循环一致性约束实现。人脸运动循环一致性的主要思想是：给定带表情的人脸，我们可通过去除面部运动进行去表情得到中性脸，并进一步进行重新表情以重建回原始人脸。身份循环一致性的主要思想是：利用通过特征重归一化剥夺给定中性脸的身份得到平均脸的去身份操作，以及将个人属性加到平均脸上得到中性脸的重身份操作。训练时，我们的模型学习解耦两种不同的人脸表征，以用于执行循环一致的人脸重建。测试时，我们使用线性协议方案在各种任务上评估人脸表征，包括面部表情识别和头部姿态回归。我们也可直接将所学人脸表征应用于人物识别、正面化和图像到图像翻译。实验表明，我们的方法结果可与现有方法媲美，展示了解耦表征中蕴含的丰富且独特的信息。代码见 https://github.com/JiaRenChang/FaceCycle 。