NeuroSpex：基于神经引导的说话人提取与跨模态注意力
声音
2024-09-17 v2 人工智能
音频与语音处理
摘要
在听觉注意力研究中，已发现有鲁明的关联性，将被注意的语音与诱发的神经反应相关，可通过脑电图 (EEG) 进行衡量。因此，有可能利用 EEG 信号中可获得的注意力信息来指导从单声道语音混合信号中提取目标说话人。本文提出一种神经引导的说话人提取模型，即 NeuroSpex，仅以听者的 EEG 响应作为唯一辅助参考线索，从单声道语音混合中提取被注意语音。我们提出一种新型 EEG 信号编码器，用于捕获注意力信息。此外，我们提出一种跨注意力 (CA) 机制以增强语音特征表示，生成说话人提取掩码。在公开可用数据集上的实验结果表明，我们提出的模型在各种评估指标上均优于两个基线模型。
引用
@article{arxiv.2409.02489,
title = {NeuroSpex: Neuro-Guided Speaker Extraction with Cross-Modal Attention},
author = {Dashanka De Silva and Siqi Cai and Saurav Pahuja and Tanja Schultz and Haizhou Li},
journal= {arXiv preprint arXiv:2409.02489},
year = {2024}
}