基于 landmarks 辅助的协同深度框架用于自动 4D 面部表情识别
计算机视觉与模式识别
2020-02-10 v2
摘要
我们提出一种新颖的 landmarks 辅助协同端到端深度框架用于自动 4D 面部表情识别(FER)。利用 4D 人脸扫描数据,我们计算其多种几何图像,随后使用秩池化生成随时间封装重要面部肌肉运动的动态图像。同时,给定的 3D landmarks 被投影到 2D 平面作为二值图像,并使用卷积层为每个 landmark 视频提取特征向量序列。在训练阶段,动态图像用于训练端到端深度网络,而 landmark 图像的特征向量用于训练长短期记忆(LSTM)网络。当动态图像与 landmark 图像通过所提深度框架在多视图上协同后,获得最终改进的表达预测集合。在广泛采用的 BU-4DFE 数据库上依据全球通用设置开展的大量实验所得性能结果表明,我们的协同框架优于当前最优的 4D FER 方法,并达到 96.7% 的 promising 分类准确率,证明了其有效性。
引用
@article{arxiv.1910.05445,
title = {Landmarks-assisted Collaborative Deep Framework for Automatic 4D Facial Expression Recognition},
author = {Muzammil Behzad and Nhat Vo and Xiaobai Li and Guoying Zhao},
journal= {arXiv preprint arXiv:1910.05445},
year = {2020}
}
备注
Published in 15th IEEE International Conference on Automatic Face and Gesture Recognition