利用注意力与关系学习进行面部动作单元检测
计算机视觉与模式识别
2019-10-21 v3
摘要
注意力机制近来在面部动作单元(AU)检测领域受到越来越多的关注。通过注意力机制找到每个AU的感兴趣区域，可以捕获与AU相关的局部特征。现有大多数基于注意力的AU检测工作使用先验知识预定义固定注意力或在小范围内细化预定义注意力，这限制了它们建模各种AU的能力。本文提出了一种端到端基于深度学习的注意力与关系学习框架，仅使用AU标签进行AU检测，这是此前未被探索过的。具体而言，首先学习每个AU共享的多尺度特征，然后自适应地学习通道注意力和空间注意力以选择和提取与AU相关的局部特征。此外，进一步捕获AU的像素级关系以细化空间注意力，从而提取更相关的局部特征。在不改变网络架构的情况下，我们的框架可轻松扩展用于AU强度估计。大量实验表明，我们的框架(i)在具有挑战性的BP4D、DISFA、FERA 2015和BP4D+基准上，在AU检测和AU强度估计方面均显著优于SOTA方法，(ii)能自适应捕获每个AU的相关区域，(iii)在严重遮挡和大姿态下也表现良好。
引用
@article{arxiv.1808.03457,
title = {Facial Action Unit Detection Using Attention and Relation Learning},
author = {Zhiwen Shao and Zhilei Liu and Jianfei Cai and Yunsheng Wu and Lizhuang Ma},
journal= {arXiv preprint arXiv:1808.03457},
year = {2019}
}
备注
This paper is accepted by IEEE Transactions on Affective Computing