基于行为与神经生理数据的实时多模态情绪估计
人机交互
2025-08-14 v1
摘要
许多个体，尤其是自闭谱系障碍（ASD）、情感体质化（alexithymia）或其他神经发展差异的人群，面临情绪识别、表达或解读方面的挑战。为支持更具包容性和个性化的情绪技术，本文提出一种实时多模态情绪估计系统，综合神经生理信号（EEG、ECG、血容量脉搏 BVP、皮肤电导 GSR/EDA）与行为模态（面部表情、语音）于统一的唤醒-价值二维界面，用于追踪情绪状态的即时变化。该架构支持可解释的用户定制化分析，并可应用于情绪教育、神经自适应反馈以及神经发展差异用户群体的交互支持。两种演示场景分别揭示：（1）被动媒体观看（2D 或 VR 视频）中对情感内容的皮层与自主神经反应；（2）与主持人或虚拟代理进行半脚本对话，捕获实时面部与语音表达。这些任务实现了受控且自然的情绪监测，使系统适用于个性化反馈与以神经发展差异为导向的交互设计。
引用
@article{arxiv.2508.09402,
title = {Realtime Multimodal Emotion Estimation using Behavioral and Neurophysiological Data},
author = {Von Ralph Dane Marquez Herbuela and Yukie Nagai},
journal= {arXiv preprint arXiv:2508.09402},
year = {2025}
}