将EEG信号映射到视觉刺激：一种用于匹配与不匹配分类的深度学习方法
计算机视觉与模式识别
2023-11-23 v2 计算工程、金融与科学
摘要
现有建模视觉刺激与脑响应之间关联的方在处理被试间方差与模型泛化方面面临困难。受近期语音-脑响应建模进展启发，我们提出一种“匹配-不匹配”深度学习模型，用于分类视频片段是否在所记录EEG信号中诱发兴奋响应，并学习视觉内容与相应神经记录间的关联。使用专有实验数据集，我们证明所提模型在未见被试上相较其他基线模型取得最高准确率。此外，我们利用嵌入空间中的被试级轮廓系数分析被试间噪声，并显示所开发模型能缓解被试间噪声并显著降低轮廓系数。而且，我们检查Grad-CAM激活分数，显示与语言处理相关的脑区对模型预测贡献最大，其次为与视觉处理相关的区域。这些结果有潜力促进基于神经记录的视频重建及其相关应用的发展。
引用
@article{arxiv.2309.04153,
title = {Mapping EEG Signals to Visual Stimuli: A Deep Learning Approach to Match vs. Mismatch Classification},
author = {Yiqian Yang and Zhengqiao Zhao and Qian Wang and Yan Yang and Jingdong Chen},
journal= {arXiv preprint arXiv:2309.04153},
year = {2023}
}