EmojiHeroVR：头部戴戴设备遮挡下面部表情识别研究
计算机视觉与模式识别
2024-10-07 v1
摘要
情感识别通过提供情感反馈和启用高级个性化来提升虚拟现实 (VR) 体验的评估和增强。然而，很少有研究使用面部表情来识别用户的情感，因为头部戴戴设备 (HMD) 会遮挡面部上半部分。为解决此问题，我们与37名参与者一起进行了我们新颖的情感 VR 游戏 EmojiHeroVR 的研究。收集的数据库 EmoHeVRDB 包括 3,556 张标记过的面部图像，涵盖 1,778 组再现的情感。对于每张标记图像，我们还提供在标记图像前后直接记录的 29 张额外帧，以促进动态面部表情识别 (FER)。此外，EmoHeVRDB 包括通过 Meta Quest Pro VR 头戴设备为每一帧捕获的 63 种面部表情激活数据。利用我们的数据库，我们对静态 FER 分类任务进行了基准评估，使用六种基本情感和中性情感，使用 EfficientNet-B0 架构。最佳模型在测试集上实现了 69.84% 的准确率，表明在 HMD 遮挡下的 FER 是可行的，但比传统 FER 难以接受。
引用
@article{arxiv.2410.03331,
title = {EmojiHeroVR: A Study on Facial Expression Recognition under Partial Occlusion from Head-Mounted Displays},
author = {Thorben Ortmann and Qi Wang and Larissa Putzar},
journal= {arXiv preprint arXiv:2410.03331},
year = {2024}
}