面向虚拟现实用户的单模态和多模态静态面部表情识别：基于 EmoHeVRDB
计算机视觉与模式识别
2024-12-17 v1
摘要
在本研究中，我们探索了利用通过 Meta Quest Pro 虚拟现实 (VR) 头盔捕获的面部表情激活 (FEA) 进行面部表情识别 (FER) 的潜力。利用 EmojiHeroVR Database (EmoHeVRDB)，我们比较了 several unimodal 方法，实现了针对七类情感类别的 static FER 任务的最高准确率为 73.02%。此外，我们将 FEA 和图像数据集成到 multimodal 方法中，观察到面部表情识别准确率显著提高。一种中间融合方法实现了最高的 80.42% 准确率，显著超过 EmoHeVRDB 图像数据的基准评估结果的 69.84%。本研究是首次利用 EmoHeVRDB 的独特 FEA 数据进行 unimodal 和 multimodal static FER，为 VR 设置下的 FER 建立了新的基准。我们的发现突显了融合互补模态以提高 VR 设置下 FER 准确率的潜力，其中常规基于图像的方法因 Head-Mounted Displays (HMDs) 造成的遮挡而受到严格限制。
引用
@article{arxiv.2412.11306,
title = {Unimodal and Multimodal Static Facial Expression Recognition for Virtual Reality Users with EmoHeVRDB},
author = {Thorben Ortmann and Qi Wang and Larissa Putzar},
journal= {arXiv preprint arXiv:2412.11306},
year = {2024}
}