结合深度与手工特征的局部学习面部表情识别
计算机视觉与模式识别
2020-03-16 v7
摘要
我们提出了一种结合卷积神经网络 (CNN) 学习的自动特征和由视觉词袋 (BOVW) 模型计算的手工特征的方法，以在面部表情识别中取得 SOTA 结果。为了获取自动特征，我们实验了多种 CNN 架构、预训练模型和训练过程，例如 Dense-Sparse-Dense。在融合这两类特征后，我们采用局部学习框架来预测每张测试图像的类别标签。该局部学习框架基于三个步骤。首先，应用 k 近邻模型为输入测试图像选择最近的训练样本。其次，在选定的训练样本上训练一对多支持向量机 (SVM) 分类器。最后，该 SVM 分类器仅用于预测为其训练的测试图像的类别标签。尽管我们在之前的工作中结合使用了局部学习与手工特征，但据我们所知，局部学习从未与深度特征结合使用过。在 2013 年面部表情识别 (FER) 挑战赛数据集、FER+ 数据集和 AffectNet 数据集上的实验表明，我们的方法取得了 SOTA 结果。在 FER 2013 上达到 75.42% 的最高准确率，在 FER+ 上达到 87.76%，在 AffectNet 8 类分类上达到 59.58%，在 AffectNet 7 类分类上达到 63.31%，我们在所有数据集上均超越 SOTA 方法 1% 以上。
引用
@article{arxiv.1804.10892,
title = {Local Learning with Deep and Handcrafted Features for Facial Expression Recognition},
author = {Mariana-Iuliana Georgescu and Radu Tudor Ionescu and Marius Popescu},
journal= {arXiv preprint arXiv:1804.10892},
year = {2020}
}
备注
Accepted in IEEE Access