基于生理同步的时序与跨模态对比学习用于EEG-based 情感识别
计算机视觉与模式识别
2025-08-27 v2
摘要
脑电图（EEG）信号提供了关于情感状态相关脑活动的有力且不可否认的反映，相较于面部表情等行为线索具有显著优势。然而，EEG信号常受噪声影响、受干扰且因个体差异而变化， complicating 情感识别。虽然多模态方法已使用外周生理信号（PPS）如皮肤电导反应（GSR）来补充EEG，但往往忽视两种模态之间动态同步性和一致语义。此外，PPS中情感波动在不同时间分辨率下的时序动态研究仍属未充分探索的领域。为此，我们提出PhysioSync，一种受生理同步现象启发的新型预训练框架，利用时序与跨模态对比学习。PhysioSync融合跨模态一致性对齐（Cross-Modal Consistency Alignment, CM-CA），以建模EEG与补充PPS之间的动态关系，实现跨模态的情感同步。此外，它引入长短期时序对比学习（Long- and Short-Term Temporal Contrastive Learning, LS-TCL），在模态内部捕获不同时间分辨率下的情感同步。预训练后，跨分辨率和跨模态特征进行层次化融合并进行微调，以增强情感识别。在DEAP和DREAMER数据集上的实验表明，PhysioSync在单模态和跨模态条件下均表现出先进的性能，凸显其在以EEG为中心的情感识别中的有效性。
引用
@article{arxiv.2504.17163,
title = {PhysioSync: Temporal and Cross-Modal Contrastive Learning Inspired by Physiological Synchronization for EEG-Based Emotion Recognition},
author = {Kai Cui and Jia Li and Yu Liu and Xuesong Zhang and Zhenzhen Hu and Meng Wang},
journal= {arXiv preprint arXiv:2504.17163},
year = {2025}
}
备注
To appear in IEEE TCSS. The source code is publicly available at https://github.com/MSA-LMC/PhysioSync