具有区域自适应、多标签学习与最优时间融合的动作单元检测
计算机视觉与模式识别
2017-04-12 v1
摘要
动作单元 (Action Unit, AU) 检测对于面部分析至关重要。许多现有方法在处理不同面部区域的对齐、时间信息的有效融合以及训练多 AU 标签模型方面面临挑战。为更好地解决这些问题，我们提出一种用于 AU 检测的深度学习框架，具备感兴趣区域 (ROI) 自适应、集成多标签学习以及基于 LSTM 的最优时间融合。首先，设计 ROI 裁剪网络 (ROI Nets) 以确保面部的特定关注区域被独立学习；每个子区域拥有一个局部卷积神经网络 (CNN)——即 ROI Net，其卷积滤波器仅针对相应区域训练。其次，采用多标签学习整合那些独立 ROI 裁剪网络的输出，学习各种 AU 间的相互关系并获取跨子区域的全局特征用于 AU 检测。最后，对多个 LSTM 层进行最优选择以形成最佳 LSTM 网络，从而最佳融合时间特征，使 AU 预测最准确。所提方法在两个流行的 AU 检测数据集 BP4D 和 DISFA 上评估，显著优于当前最优方法，在 BP4D 和 DISFA 上平均分别提升约 13% 和 25%。
引用
@article{arxiv.1704.03067,
title = {Action Unit Detection with Region Adaptation, Multi-labeling Learning and Optimal Temporal Fusing},
author = {Wei Li and Farnaz Abitahi and Zhigang Zhu},
journal= {arXiv preprint arXiv:1704.03067},
year = {2017}
}
备注
The paper is accepted to CVPR 2017