基于自监督个体特定模型客观刻画个人面部运动

将面部运动与其他面部特征（尤其是面部身份）解耦仍具挑战，因面部运动在个体间差异显著。本文旨在刻画个体特异性面部运动。我们提出一种新颖训练方法，独立于其他面部特征学习面部运动，且针对每个个体分别处理。我们提出自监督个体特定模型（PSMs），其中每个个体对应一个模型，可从无标签面部视频中独立于其身份及其他结构性面部特征提取面部运动嵌入。这些模型采用类编码器-解码器架构训练。我们提供定量与定性证据，表明 PSM 学到了有意义的面部嵌入，可发现细粒度运动，而跨个体训练、刻画通用面部运动模式的通用模型（GM）无法表征这些运动。我们给出定量与定性证据，表明该方法易于扩展并泛化至新个体：在某人上习得的面部运动知识可快速有效迁移至新人。最后，我们提出一种采用课程时序学习的新型 PSM，以利用视频帧间的时间连续性。我们的代码、分析细节及所有预训练模型见于 Github 与补充材料。