基于时空自适应池化的微表情动作单元检测
计算机视觉与模式识别
2020-04-13 v2
摘要
动作单元(AU)检测在面部表情识别中起着重要作用。据我们所知,关于微表情的 AU 分析研究很少。本文聚焦于微表情中的 AU 检测。微表情 AU 检测具有挑战性,原因在于微表情数据库数量少、强度低、面部肌肉变化持续时间短以及类不平衡。为缓解这些问题,我们提出了一种新颖的时空自适应池化(STAP)网络用于微表情中的 AU 检测。首先,STAP 由一系列不同尺寸的卷积滤波器聚合而成。以此方式,STAP 可获取空间和时间域上的多尺度信息。另一方面,STAP 包含较少参数,因此计算成本更低,适用于极小数据库上的微表情 AU 检测。此外,STAP 模块被设计用于在空间和时间域上为微表情 AU 池化判别性信息。最后,采用 Focal loss 防止大量负样本压倒微表情 AU 检测器。在实验中,我们首先对三个常用数据库的 AU 标注进行精修。我们在三个微表情数据库上进行了密集实验,并提供了若干微表情 AU 检测的基线结果。结果表明,我们提出的方法在 F1 分数平均值上优于基础的 Inflated inception-v1 (I3D)。我们还在跨数据库协议下评估了所提方法的性能。这表明我们的方法对于跨数据库微表情 AU 检测是可行的。重要的是,在三个微表情数据库和跨数据库协议上的结果为未来微表情 AU 检测研究提供了广泛的基线结果。
引用
@article{arxiv.1907.05023,
title = {Micro-expression Action Unit Detection with Spatio-temporal Adaptive Pooling},
author = {Yante Li and Xiaohua Huang and Guoying Zhao},
journal= {arXiv preprint arXiv:1907.05023},
year = {2020}
}
备注
There is a bug in the method. The results are not correct