基于 EEG 的功能连接模式在多模态情绪识别中的探究
人机交互
2020-04-07 v1 机器学习
摘要
与丰富的运动脑机接口（BCI）研究相比，近年来兴起的情感脑机接口面临着不同的挑战，因为涉及情绪的大脑功能连接网络尚未得到充分研究。以往基于脑电图（EEG）信号的情绪识别研究主要依赖基于单通道的特征提取方法。本文提出一种新颖的情绪相关关键子网络选择算法，并研究三种 EEG 功能连接网络特征：强度、聚类系数和特征向量中心性。在 SEED、SEED-V 和 DEAP 三个公开情绪 EEG 数据集上评估了 EEG 连接特征在情绪识别中的判别能力。强度特征取得了最佳分类性能，并优于基于单通道分析的最先进差分熵特征。实验结果表明，厌恶、恐惧、悲伤、快乐和中性这五种情绪表现出不同的功能连接模式。此外，我们利用深度典型相关分析，结合来自 EEG 的功能连接特征与来自眼动或生理信号的特征，构建了多模态情绪识别模型。多模态情绪识别的分类准确率在 SEED 数据集上为 95.08±6.42%，在 SEED-V 数据集上为 84.51±5.11%，在 DEAP 数据集上唤醒度和效价分别为 85.34±2.90% 和 86.61±3.76%。结果证明了 EEG 连接特征与眼动数据的互补表征特性。另外，我们发现使用 18 通道构建的脑网络在多模态情绪识别中取得了与 62 通道网络相当的性能，并使得真实场景中的 BCI 系统更易于搭建。
引用
@article{arxiv.2004.01973,
title = {Investigating EEG-Based Functional Connectivity Patterns for Multimodal Emotion Recognition},
author = {Xun Wu and Wei-Long Zheng and Bao-Liang Lu},
journal= {arXiv preprint arXiv:2004.01973},
year = {2020}
}
备注
15 pages, 11 figures