用于三维面部表情识别的深层与浅层协方差特征量化
计算机视觉与模式识别
2021-05-13 v1
摘要
近年来,三维人脸扫描的面部表情识别(FER)受到了大量关注。大多数面部表情识别方法主要基于2D图像提出。这些方法存在光照变化和姿态变化等诸多问题。此外,从3D图像到2D的映射可能缺失面部的某些几何与拓扑特征。因此,为克服该问题,本文提出了一种基于多模态2D+3D特征的方法。我们从3D图像中提取浅层特征,并利用卷积神经网络(CNN)从变换后的2D图像中提取深层特征。为将这些特征组合为紧凑表示,采用协方差矩阵作为两类特征的描述子,而非单一描述子。使用协方差矩阵学习作为流形层,在保持流形结构的同时减小深层协方差矩阵尺寸并增强其判别力。随后,我们在展平后使用词袋(BoF)范式对协方差矩阵进行量化。据此,我们利用浅层和深层特征得到两个码本。全局码本随后用于馈入SVM分类器。在BU-3DFE和Bosphorus数据集上,相较于SOTA方法取得了高分类性能。
引用
@article{arxiv.2105.05708,
title = {Deep and Shallow Covariance Feature Quantization for 3D Facial Expression Recognition},
author = {Walid Hariri and Nadir Farah and Dinesh Kumar Vishwakarma},
journal= {arXiv preprint arXiv:2105.05708},
year = {2021}
}