JÂA-Net：基于自适应注意力的联合面部动作单元检测与人脸对齐
计算机视觉与模式识别
2020-09-25 v3
摘要
面部动作单元（AU）检测与人脸对齐是两项高度相关的任务，因为面部关键点可提供精确的AU位置，从而有助于提取有意义的局部特征用于AU检测。然而，大多数现有AU检测工作将两项任务独立处理，把人脸对齐视为预处理，并常利用关键点为每个AU预定义固定区域或注意力。本文中，我们提出了一种用于联合AU检测与人脸对齐的端到端深度学习新框架，此前尚未被探索。具体而言，首先学习多尺度共享特征，并将人脸对齐的高层特征输入AU检测。此外，为提取精确局部特征，我们提出一种自适应注意力学习模块，以自适应地细化每个AU的注意力图。最后，将组装的局部特征与人脸对齐特征及全局特征整合用于AU检测。大量实验表明，我们的框架（i）在具有挑战性的BP4D、DISFA、GFT与BP4D+基准上显著优于最先进的AU检测方法，（ii）能自适应捕获每个AU的不规则区域，（iii）在人脸对齐上取得有竞争力的性能，且（iv）在部分遮挡与非正面姿态下同样表现良好。我们的方法代码见 https://github.com/ZhiwenShao/PyTorch-JAANet。
引用
@article{arxiv.2003.08834,
title = {J$\hat{\text{A}}$A-Net: Joint Facial Action Unit Detection and Face Alignment via Adaptive Attention},
author = {Zhiwen Shao and Zhilei Liu and Jianfei Cai and Lizhuang Ma},
journal= {arXiv preprint arXiv:2003.08834},
year = {2020}
}
备注
This paper is the extended version of arXiv:1803.05588, and is accepted by International Journal of Computer Vision