用于自发微表情识别的时空循环卷积网络

近年来，自发面部微表情的识别任务因其在现实世界中的多种应用而备受关注。大量手工设计或学习得到的特征已被用于各类分类器，并在微表情识别中取得了良好性能。然而，由于微表情的时空变化细微，微表情识别仍具挑战性。为利用深度学习优势，我们提出一种基于深度循环卷积网络的新微表情识别方法，以捕捉微表情序列的时空形变。具体而言，所提深度模型由若干用于提取视觉特征的循环卷积层和一个用于识别的分类层构成，以端到端方式优化，避免了人工特征设计。为处理序列数据，我们利用了两类跨时间域扩展卷积网络连通性的方式，分别从面部表观与几何视角对时空形变建模。此外，为克服训练样本有限且不均衡的不足，我们将时间数据增强策略与均衡损失联合用于深度网络。在三个自发微表情数据集上的实验验证了所提方法相较于最优方法的的有效性。