基于深度协方差轨迹的面部表情自动分析
计算机视觉与模式识别
2019-12-05 v3
摘要
在本文中，我们提出一种使用深度协方差描述子的面部表情识别新方法。该方案基于将静态图像中提取的局部和全局深度卷积神经网络（DCNN）特征编码为紧凑的局部和全局协方差描述子的思想。协方差矩阵的几何空间为对称正定（SPD）矩阵的空间。通过在 SPD 流形上使用具有有效高斯核的支持向量机（SVM）对静态面部表情进行分类，我们表明深度协方差描述子比使用全连接层和 softmax 的标准分类更有效。此外，我们提出一种全新且原创的方案，将面部表情的时间动态建模为 SPD 流形上的深度轨迹。作为协方差描述子分类流程的扩展，我们应用带有从全局对齐导出的有效正定核的 SVM 进行深度协方差轨迹分类。通过在 Oulu-CASIA、CK+ 和 SFEW 数据集上进行大量实验，我们表明所提出的静态和动态方法均取得了面部表情识别的先进性能，优于许多近期方法。
引用
@article{arxiv.1810.11392,
title = {Automatic Analysis of Facial Expressions Based on Deep Covariance Trajectories},
author = {Naima Otberdout and Anis Kacem and Mohamed Daoudi and Lahoucine Ballihi and Stefano Berretti},
journal= {arXiv preprint arXiv:1810.11392},
year = {2019}
}
备注
A preliminary version of this work appeared in "Otberdout N, Kacem A, Daoudi M, Ballihi L, Berretti S. Deep Covariance Descriptors for Facial Expression Recognition, in British Machine Vision Conference 2018, BMVC 2018, Northumbria University, Newcastle, UK, September 3-6, 2018. ; 2018 :159." arXiv admin note: substantial text overlap with arXiv:1805.03869