通过基于浅深注意力的网络将听觉语音与EEG相关联
声音
2023-03-21 v1 计算与语言
音频与语音处理
神经元与认知
摘要
脑电图（EEG）在检测大脑对不同刺激的反应中起着至关重要的作用。本文中，我们提出一种新颖的基于浅深注意力的网络（SDANet）来分类引发EEG信号的正确听觉刺激。它采用基于注意力的相关模块（ACM）从全局角度发现听觉语音与EEG之间的联系，并采用浅深相似分类模块（SDSCM）通过从浅层和深层学习的嵌入来决定分类结果。此外，使用了多种训练策略和数据增强以提升模型鲁棒性。实验在听觉EEG挑战赛（ICASSP信号处理大挑战2023）提供的数据集上进行。结果表明，所提模型在匹配-不匹配赛道上相比基线有显著增益。
引用
@article{arxiv.2303.10897,
title = {Relate auditory speech to EEG by shallow-deep attention-based network},
author = {Fan Cui and Liyong Guo and Lang He and Jiyao Liu and ErCheng Pei and Yujun Wang and Dongmei Jiang},
journal= {arXiv preprint arXiv:2303.10897},
year = {2023}
}