基于两级注意力与两阶段多任务学习的静态图像面部情绪识别
计算机视觉与模式识别
2018-11-30 v1
摘要
与基于分类模型的面部情绪识别相比，维度情绪识别能够更准确地描述现实世界中的众多情绪。大多数已有的维度情绪估计工作仅考虑了实验室数据，并使用了视频、语音或其他多模态特征。这些方法应用于现实世界静态图像上的效果尚属未知。本文提出一种两级注意力与两阶段多任务学习（2Att-2Mt）框架，仅基于静态图像进行面部情绪估计。首先，通过一级注意力机制自动提取并增强相应区域的特征（位置级特征）。随后，我们利用带有自注意力（二级注意力）的双向循环神经网络（Bi-RNN）自适应地充分利用不同层之间的关系特征（层级别特征）。鉴于维度情绪识别固有的复杂性，我们提出一种两阶段多任务学习结构，利用分类表示来改善维度表示，并基于两个目标的相关性同时估计效价（valence）和唤醒度（arousal）。在 AffectNet 数据集上取得的定量结果表明，一致性相关系数（CCC）和均方根误差（RMSE）均有显著提升，说明了所提框架的优越性。此外，大量的对比实验也充分证明了各组成部分的有效性。
引用
@article{arxiv.1811.12139,
title = {Two-level Attention with Two-stage Multi-task Learning for Facial Emotion Recognition},
author = {Xiaohua Wang and Muzi Peng and Lijuan Pan and Min Hu and Chunhua Jin and Fuji Ren},
journal= {arXiv preprint arXiv:1811.12139},
year = {2018}
}
备注
10 pages, 4 figures