基于深度图到点云的微表情识别

微表情是揭示个体隐秘情绪的非语言面部表情，因其微小面部动作和短暂持续时间，使其识别任务备受关注。近年来已开发出许多基于2D图像的方法来有效识别微表情，但这些方法受限于面部纹理信息，易受到诸如光照等环境因素的影响。相反，深度信息能够有效地表示与面部结构变化相关的运动信息，且不受光照影响。源自面部结构的运动信息可以描述像素纹理无法描绘的运动特征。我们提出了一个基于面部深度信息的微表情识别网络，并通过实验证明了深度图在微表情识别任务中的关键作用。首先，将深度图转换为点云，通过对齐起始帧和顶点帧并执行差分运算来获取每个点的运动信息。随后，调整所有点云运动特征的输入维度，将其作为输入供给多个点云网络进行评估。由于其性能卓越，PointNet++被选为最终的微表情识别模型。我们的实验表明，在包含深度信息的CAS(ME)^3数据集上，所提出的方法显著优于现有的深度学习方法，包括基线方法。