学习基于多维边特征的动作单元关系图用于面部动作单元识别
计算机视觉与模式识别
2022-08-03 v2 人工智能
摘要
面部动作单元（AUs）的激活相互影响。虽然一对 AUs 之间的关系可能复杂且独特，现有方法未能针对每次面部显示中的每一对 AUs 具体且显式地表示此类线索。本文提出一种 AU 关系建模方法，通过深度学习方法得到一个独特的图，显式描述目标面部显示中每一对 AUs 之间的关系。我们的方法首先将每个 AU 的激活状态及其与其他 AUs 的关联编码为节点特征。然后，它学习一对多维边特征，以描述每一对 AUs 之间多个特定任务的关系线索。在节点和边特征学习过程中，我们的方法还通过将完整面部表示作为输入来考虑独特面部显示对 AUs 关系的影响。在 BP4D 和 DISFA 数据集上的实验结果表明，节点和边特征学习模块均为 CNN 和基于 transformer 的主干网络带来大幅性能提升，我们的最佳系统取得了最先进的 AU 识别结果。我们的方法不仅对 AU 识别中的关系线索建模具有强大能力，还可轻松集成到各种主干网络中。我们的 PyTorch 代码已公开。
引用
@article{arxiv.2205.01782,
title = {Learning Multi-dimensional Edge Feature-based AU Relation Graph for Facial Action Unit Recognition},
author = {Cheng Luo and Siyang Song and Weicheng Xie and Linlin Shen and Hatice Gunes},
journal= {arXiv preprint arXiv:2205.01782},
year = {2022}
}
备注
IJCAI 2022 conference (accepted)