基于RNN的高效情感检测方法FacialPulse：通过时序面部标志点
计算机视觉与模式识别
2024-08-08 v1
摘要
情感障碍是一种流行的精神健康障碍，对个体的生活和幸福产生显著影响。及早检测和干预对于有效的治疗和管理情感障碢至关重要。最近，许多基于面部表情特征的端到端深度学习方法被用于自动情感检测。然而，大多数当前方法忽略了面部表情的时序动态。虽然最新的3D CNN方法弥补了这一差距，但由于采用CNN作为底层结构并引入冗余的面部特征，带来了更高的计算成本。为了解决上述局限性，我们考虑面部表情的时间相关性，提出了一种新框架称为FacialPulse，能够实现高准确率和高速度的情感识别。在利用双向性并充分处理长期依赖性方面，设计了FacialPulse中的Facial Motion Modeling Module (FMMM)，以充分捕获时序特征。由于所提出的FMMM具有并行处理能力，并通过门控机制缓解梯度消失，该模块还能显著加快训练速度。此外，为了有效地使用面部标志点取代原始图像以减少信息冗余，设计了一个Facial Landmark Calibration Module (FLCM)，以消除面部标志点误差，进一步提高识别准确性。在AVEC2014数据集和MMDA数据集（一种情感数据集）上的大量实验表明，FacialPulse在识别准确率和速度方面均优于现有方法，平均MAE（平均绝对误差）降低了21%，识别速度比最新方法提高了100%。代码已发布于 https://github.com/volatileee/FacialPulse。
关键词
引用
@article{arxiv.2408.03499,
title = {FacialPulse: An Efficient RNN-based Depression Detection via Temporal Facial Landmarks},
author = {Ruiqi Wang and Jinyang Huang and Jie Zhang and Xin Liu and Xiang Zhang and Zhi Liu and Peng Zhao and Sigui Chen and Xiao Sun},
journal= {arXiv preprint arXiv:2408.03499},
year = {2024}
}