DeepFN：基于深度人脸归一化实现可泛化的面部动作单元识别
计算机视觉与模式识别
2023-10-20 v1 人工智能
机器学习
图像与视频处理
摘要
面部动作单元识别在市场调研、心理治疗、图像描述生成和娱乐等领域有着诸多应用。尽管近期取得了进展，但这些模型的部署因其对未见个体和人群统计特征的有限泛化能力而受到阻碍。本工作从多个维度对性能进行了深入分析：个体（40名受试者）、性别（男性和女性）、肤色类型（较深和较浅）以及数据库（BP4D和DISFA）。为抑制数据中的方差，我们利用自监督去噪自编码器的概念设计了一种深度人脸归一化方法（DeepFN），该方法将不同人的面部表情迁移到一个通用面部模板上，随后用于训练和评估面部动作识别模型。我们表明，独立于人的模型产生的性能（40名受试者平均F1和准确率为55%）显著低于依赖于人的模型（60.3%），导致5.3%的泛化差距。然而，使用新引入的DeepFN对数据进行归一化显著提升了独立于人的模型性能（59.6%），有效缩小了这一差距。类似地，我们在考虑性别（2.4%）、肤色类型（5.3%）和数据集（9.4%）时观察到了泛化差距，而使用DeepFN后这些差距均显著减小。这些发现是朝着构建更具可泛化性的面部动作单元识别系统迈出的重要一步。
引用
@article{arxiv.2103.02484,
title = {DeepFN: Towards Generalizable Facial Action Unit Recognition with Deep Face Normalization},
author = {Javier Hernandez and Daniel McDuff and Ognjen and Rudovic and Alberto Fung and Mary Czerwinski},
journal= {arXiv preprint arXiv:2103.02484},
year = {2023}
}