基于注意力的关系网络用于面部动作单元识别
计算机视觉与模式识别
2022-10-26 v1 人工智能
摘要
面部动作单元（AU）识别对面部表情分析至关重要。由于 AU 之间存在高度正或负相关性，一些现有 AU 识别工作聚焦于对 AU 关系建模。然而，以往基于关系的方法通常将预定义规则嵌入其模型，并忽略了不同人群中各种 AU 关系的影响。本文中，我们提出一种新颖的基于注意力的关系网络（ABRNet）用于 AU 识别，其可在无需不必要甚至具干扰性的预定义规则的情况下自动捕捉 AU 关系。ABRNet 使用若干关系学习层自动捕捉不同 AU 关系。所学得的 AU 关系特征随后被送入自注意力融合模块，旨在利用注意力权重精炼个体 AU 特征以增强特征鲁棒性。此外，我们提出一种 AU 关系丢弃策略与 AU 关系损失（AUR-Loss）以更好地建模 AU 关系，可进一步提升 AU 识别。大量实验表明，我们的方法在 DISFA 与 DISFA+ 数据集上取得了最先进的性能。
引用
@article{arxiv.2210.13988,
title = {Attention Based Relation Network for Facial Action Units Recognition},
author = {Yao Wei and Haoxiang Wang and Mingze Sun and Jiawang Liu},
journal= {arXiv preprint arXiv:2210.13988},
year = {2022}
}