基于 EEG 与外周生理信号的超复数多模态情绪识别
人机交互
2023-10-12 v1 机器学习
信号处理
摘要
由于生理信号不像行为反应那样可受意志控制，从而提供更可靠的信息，基于生理信号的多模态情绪识别正受到越来越多的关注。现有基于深度学习的方法仍依赖提取的手工特征，未充分利用神经网络的学习能力，且常采用单模态方法，而人类情绪本质上以多模态方式表达。本文提出一种配备新颖融合模块的超复数多模态网络，该模块包含参数化超复数乘法。事实上，通过在超复数域中运算，其代数规则可对学习到的特征维度间的潜在关系建模，从而实现更有效的融合。我们利用公开数据库 MAHNOB-HCI，从脑电图（EEG）与外周生理信号对效价与唤醒度进行分类，超越了多模态最先进网络。我们的代码可在 https://github.com/ispamm/MHyEEG 免费获取。
引用
@article{arxiv.2310.07648,
title = {Hypercomplex Multimodal Emotion Recognition from EEG and Peripheral Physiological Signals},
author = {Eleonora Lopez and Eleonora Chiarantano and Eleonora Grassucci and Danilo Comminiello},
journal= {arXiv preprint arXiv:2310.07648},
year = {2023}
}
备注
Published at IEEE ICASSP workshops 2023