理清FACS——重建被遮挡的面部特征

人脸是人类交流中最关键的部分之一。即使面部部分被隐藏或遮挡，其底层的面部运动仍可被理解。机器学习方法常因面部结构的复杂性而在该方面失效。缓解此问题的常见方法是针对此类特定应用微调模型。然而，这计算密集，且可能需为每个期望的分析任务重复进行。本文中，我们提出重建被遮挡的面部部分，以避免重复微调的任务。因此，现有的面部分析方法可在数据方面不作进一步改动地使用。在我们的方法中，面部特征的修复被解释为不同录制设置间的风格迁移任务。通过使用CycleGAN架构，可消除通常难以满足的匹配成对数据需求。为证明我们方法的可行性，我们将重建结果与真实无遮挡录制进行比较。我们创建了一个新颖数据集，其中36名受试者在面部贴附与未贴附62个表面肌电传感器的情况下均被录制。在我们的评估中，我们展示了典型的面部分析任务，如面部动作单元的计算与情绪检测。为进一步评估修复质量，我们还比较了感知距离。我们能够表明，可获得与无遮挡传感器视频相近的分数。