基于深度多模态融合的 VR 情感识别：跨多个解剖域的生物信号
信号处理
2024-12-04 v1 人工智能
摘要
情感识别通过整合多模态生物信号和来自多个解剖域的 IMU 数据显著增强。本文提出一种新型多尺度注意力基于 LSTM 的架构，结合 Squeeze-and-Excitation (SE) 块，利用来自头部 (Meta Quest Pro VR 头戴式设备)、躯干 (Equivital 胸背贴) 和外周 (Empatica Embrace Plus) 的多域信号来进行情感刺激。记录了 23 名参与者的信号，以及每次刺激后进行的自评情感评分。LSTM 层从每个模态中提取特征，多尺度注意力捕获细粒度的时间依赖性，SE 块在分类前对特征重要性进行校准。我们评估了哪些域的信号在 VR 体验中携带最具辨识力的情感信息，确定了贡献于情感检测的关键生物信号。该提出的架构在用户研究中验证，展示了在对情感 (高/低) 进行分类时性能卓越，展示了多域多模态融合生物信号（如 TEMP、EDA）与 IMU 数据（如加速度计）在实际应用中有效的情感识别能力。
引用
@article{arxiv.2412.02283,
title = {VR Based Emotion Recognition Using Deep Multimodal Fusion With Biosignals Across Multiple Anatomical Domains},
author = {Pubudu L. Indrasiri and Bipasha Kashyap and Chandima Kolambahewage and Bahareh Nakisa and Kiran Ijaz and Pubudu N. Pathirana},
journal= {arXiv preprint arXiv:2412.02283},
year = {2024}
}
备注
14 pages, 6 figures