PHemoNet：用于生理信号的多模态网络
信号处理
2024-10-02 v1 机器学习
摘要
情感识别在诸多领域中至关重要，包括医疗应用和脑机接口（BCI）。情感反应包括行为反应，如语调和身体动作，以及生理信号的变化，如脑电图（EEG）。后者是非自主的，因此提供了可靠的输入来识别情感，与前者不同，后者是可自主控制的。这些信号揭示了真实的情感状态，而无需有意改变，从而增加了情感识别模型的准确性。然而，来自生理信号的多模态深度学习方法尚未得到广泛研究。本文介绍了 PHemoNet，这是一个用于从生理信号进行多模态情感识别的全超复数网络。具体而言，该体系结构包括模态特定编码器和融合模块。编码器和融合模块通过参数化超复数乘法（PHM）在超复数域中定义，可捕获每个模态不同维度之间的潜在关系以及模态之间之间的关系。该方法在 MAHNOB-HCI 数据集上对使用脑电图（EEG）和周围生理信号的价值和唤醒度分类 outperform 当前最先进的模型。该工作的代码已公开：https://github.com/ispamm/MHyEEG。
关键词
引用
@article{arxiv.2410.00010,
title = {PHemoNet: A Multimodal Network for Physiological Signals},
author = {Eleonora Lopez and Aurelio Uncini and Danilo Comminiello},
journal= {arXiv preprint arXiv:2410.00010},
year = {2024}
}
备注
The paper has been accepted at RTSI 2024