基于生命周期感知胶囊网络的人脸动作时空分析
计算机视觉与模式识别
2021-03-05 v2 机器学习
摘要
大多数最先进的面部动作单元(AU)检测方法依赖于从静态帧评估面部表情,编码面部活动高峰的快照。然而,在真实世界交互中,面部表情通常更微妙且以时间方式演化,要求 AU 检测模型学习空间以及时间信息。本文中,我们关注编码面部 AU 激活时间演化的空间与时空特征。为此,我们提出动作单元生命周期感知胶囊网络(AULA-Caps),其利用帧级与序列级特征进行 AU 检测。在帧级,AULA-Caps 的胶囊层学习空间特征基元以确定 AU 激活;在序列级,其通过关注序列中相关的时空片段学习连续帧间的时间依赖关系。所学特征胶囊被共同路由,使得模型根据 AU 生命周期学会选择性地更关注空间或时空信息。所提模型在常用 BP4D 与 GFT 基准数据集上评估,在两个数据集上均取得最先进结果。
引用
@article{arxiv.2011.08819,
title = {Spatio-Temporal Analysis of Facial Actions using Lifecycle-Aware Capsule Networks},
author = {Nikhil Churamani and Sinan Kalkan and Hatice Gunes},
journal= {arXiv preprint arXiv:2011.08819},
year = {2021}
}
备注
Updated Figure 6 and the Acknowledgements. Corrected typos. 11 pages, 6 figures, 3 tables