面向稀疏感知的4D情感识别：超越人脸的阅读
计算机视觉与模式识别
2020-08-20 v4
摘要
本文中，我们提出一种用于自动4D面部表情识别(FER)的稀疏感知深度网络。给定4D数据，我们首先提出一种新颖的增强方法来应对深度学习的数据局限问题。这是通过将输入数据投影为RGB和深度图图像，然后迭代执行随机通道拼接来实现的。编码于给定的3D landmarks中，我们还引入一种有效方式从三个正交平面(TOP)捕获面部肌肉运动，即多视角下的TOP-landmarks。重要的是，我们随后提出一种稀疏感知深度网络来计算多视角下卷积特征的稀疏表示。这不仅有助于更高的识别精度，且在计算上便利。对于训练，TOP-landmarks与稀疏表示被用于训练长短期记忆(LSTM)网络。当所学特征在多视角上协作时，实现了精炼的预测。在BU-4DFE数据集上取得的广泛实验结果显示了我们的方法相对于最先进方法的显著性，在4D FER上达到了99.69%的 promising 精度。
引用
@article{arxiv.2002.03157,
title = {Towards Reading Beyond Faces for Sparsity-Aware 4D Affect Recognition},
author = {Muzammil Behzad and Nhat Vo and Xiaobai Li and Guoying Zhao},
journal= {arXiv preprint arXiv:2002.03157},
year = {2020}
}