EmT：用于广义跨主体 EEG 情感识别的新型 Transformer
机器学习
2025-03-18 v3 信号处理
摘要
将神经生理学的先验知识整合到神经网络架构中，可增强情感解码的性能。虽然许多技术强调学习空间和短期时间模式，但捕捉与情感认知过程相关的关键长期上下文信息的关注度有限。为此，我们引入一种名为情感转换器（Emotion Transformer，EmT）的新型转换器模型。EmT 旨在在广义跨主体 EEG 情感分类和回归任务中取得优异成绩。在 EmT 中，EEG 信号被转换为时间图格式，通过时间图构建模块（TGC）创建一系列 EEG 特征图。随后提出一种新型残差多视图金字塔 GCN 模块（RMPG），用于学习每个 EEG 特征图在系列中的动态图表示，将每个图的所学表示融合为一个 token。我们还设计了一种时间上下文转换器模块（TCT），包含两种 token 混合器以学习时间上下文信息。最后，任务特定输出模块（TSO）生成所需输出。在四个公开数据集上的实验表明，EmT 在 EEG 情感分类和回归任务中均优于基线方法。代码已公开于 https://github.com/yi-ding-cs/EmT。
关键词
引用
@article{arxiv.2406.18345,
title = {EmT: A Novel Transformer for Generalized Cross-subject EEG Emotion Recognition},
author = {Yi Ding and Chengxuan Tong and Shuailei Zhang and Muyun Jiang and Yong Li and Kevin Lim Jun Liang and Cuntai Guan},
journal= {arXiv preprint arXiv:2406.18345},
year = {2025}
}
备注
12 pages, 9 figures. This work has been accepted by IEEE TNNLS