动作单元增强动态面部表情识别
计算机视觉与模式识别
2025-07-11 v1
摘要
动态面部表情识别(DFER)是聚焦于识别时序面部表情的快速发展领域。虽然先前研究在深度学习视角下专注于特征学习，但本文提出了一种集成面部表情知识的AU增强动态面部表情识别架构，即AU-DFER。具体而言，量化不同表情中面部动作单元(AUs)的贡献，并设计权重矩阵以整合先验知识。随后，通过引入AU损失，将知识与常规深度学习网络的学习结果相结合。该设计被整合到现有最优动态表情识别模型中以进行验证。在三个最新主流开源DFER方法上进行实验，分别在该领域的主要数据集上进行测试。结果表明，所提出的架构在无需额外计算量的情况下超越了最先进(SOTA)方法，通常产生更好的结果。此外，我们探讨了AU损失函数重新设计以解决主流动态表情数据集中数据标签不平衡问题的潜力。据我们了解，这是首次将量化化的AU-表情知识整合到各种DFER模型中的尝试。我们还构思了解决标签不平衡或小类问题的策略。我们的发现表明，多样化的损失函数设计策略可提升DFER的效果。这凸显了在该领域主流数据集中解决数据不平衡挑战的关键性。源代码已公开于 https://github.com/Cross-Innovation-Lab/AU-DFER。
引用
@article{arxiv.2507.07678,
title = {Action Unit Enhance Dynamic Facial Expression Recognition},
author = {Feng Liu and Lingna Gu and Chen Shi and Xiaolan Fu},
journal= {arXiv preprint arXiv:2507.07678},
year = {2025}
}