面向多模态情感识别的层次化超复数网络

情感识别在从医疗保健到人机交互的多个领域中都具有重要意义。与可以随意控制的语音和面部表情不同，生理信号不受自主控制，为此目的提供了可靠的信息。它们反映了真实的情感反应，没有有意识的操纵，从而增强了情感识别系统的可信度。尽管如此，使用深度学习模型进行多模态情感识别仍然是一个相对未被探索的领域。在本文中，我们引入了一个具有分层学习结构的全超复数网络，以充分捕获相关性。具体来说，在编码器层面，模型学习每个输入信号不同通道之间的模态内关系。然后，一个超复数融合模块学习不同模态嵌入之间的模态间关系。主要创新点在于通过为编码器配备参数化超复数卷积（PHCs）来利用模态内关系，得益于超复数代数，PHCs 可以捕获单一模态内的通道间交互。而融合模块则包含参数化超复数乘法（PHMs），可以建模模态间相关性。所提出的架构在 MAHNOB-HCI 数据集的情感识别任务上超越了最先进的模型，特别是在从脑电图（EEGs）和外周生理信号中分类效价和唤醒度方面。本研究的代码可在 https://github.com/ispamm/MHyEEG 获取。