SWIM: 短窗口CNN集成Mamba用于基于EEG的听觉空间注意力解码
音频与语音处理
2024-11-28 v2 人工智能
声音
信号处理
摘要
在复杂的听觉环境中，人类听觉系统具有专注于特定说话者而忽略其他说话者的非凡能力。在本研究中，提出了一种名为SWIM的新模型，即短窗口卷积神经网络与Mamba的集成，用于从脑电图信号中识别听觉注意力的位置（左或右），而无需依赖语音包络。SWIM由两部分组成。第一部分是短窗口CNN，它充当短期EEG特征提取器，在广泛使用的KUL数据集上的留一说话者设置中达到了84.9%的最终准确率。这一改进归功于改进的CNN结构、数据增强、多任务训练和模型组合。第二部分Mamba是一种序列模型，首次应用于听觉空间注意力解码，以利用来自先前SW_CNN时间步长的长期依赖性。通过联合训练SW_CNN和Mamba，所提出的SWIM结构同时利用了短期和长期信息，达到了86.2%的准确率，与先前的最先进结果相比，分类错误相对减少了31.0%。源代码可在https://github.com/windowso/SWIM-ASAD获取。
引用
@article{arxiv.2409.19884,
title = {SWIM: Short-Window CNN Integrated with Mamba for EEG-Based Auditory Spatial Attention Decoding},
author = {Ziyang Zhang and Andrew Thwaites and Alexandra Woolgar and Brian Moore and Chao Zhang},
journal= {arXiv preprint arXiv:2409.19884},
year = {2024}
}
备注
accepted by SLT 2024