ComFace: 基于合成数据的人脸比较表示学习

日常监测与健康和情绪状态相关的个体内面部变化，在医学、医疗保健和情感识别领域具有巨大潜力。然而，由于难以收集随时间变化的人脸图像，捕捉个体内面部变化的方法相对未被探索。本文提出了一种使用合成图像进行人脸比较的表示学习方法，称为 ComFace，旨在捕捉个体内面部变化。为了实现有效的表示学习，ComFace 旨在获取两种特征表示，即个体间面部差异和个体内面部变化。我们方法的关键在于使用合成人脸图像来克服收集真实个体内人脸图像的限制。通过 ComFace 学习到的人脸表示被迁移到三个广泛的下游任务中，用于比较人脸：从同一个体的两张人脸图像中估计表情变化、体重变化和年龄变化。我们的 ComFace 仅使用合成数据训练，在迁移性能上达到了与使用真实图像训练的通用预训练方法和最先进表示学习方法相当或更优的水平。