面向面部表情识别的 AU-表情知识约束表示学习
计算机视觉与模式识别
2021-04-05 v2
摘要
自动识别人类情绪/表情是智能机器人颇为期望的能力，因其可促进与人类更好的沟通与合作。当前基于深度学习的算法在一些实验室受控环境中可能取得令人印象深刻的性能，但其在无约束的真实场景（in-the-wild）中总无法准确识别表情。幸运的是，面部动作单元（AU）描述细微面部行为，可帮助区分不确定与模糊的表情。本工作中，我们探索动作单元与面部表情间的相关性，并设计 AU-表情知识约束表示学习（AUE-CRL）框架，以在无 AU 标注下学习 AU 表示，并自适应利用表示促进面部表情识别。具体而言，其利用 AU-表情相关性引导 AU 分类器的学习，从而可在不产生任何 AU 标注的情况下获得 AU 表示。随后，其引入知识引导注意力机制，在 AU-表情相关性约束下挖掘有用 AU 表示。以此方式，该框架可捕获局部判别性与互补特征，增强用于面部表情识别的面部表示。我们在具挑战性的无约束数据集上开展实验，证明了所提框架相对于当前最先进方法的优越性。代码与训练模型见 https://github.com/HCPLab-SYSU/AUE-CRL。
引用
@article{arxiv.2012.14587,
title = {AU-Expression Knowledge Constrained Representation Learning for Facial Expression Recognition},
author = {Tao Pu and Tianshui Chen and Yuan Xie and Hefeng Wu and Liang Lin},
journal= {arXiv preprint arXiv:2012.14587},
year = {2021}
}
备注
Accepted at ICRA 2021