NeuroHeed+：结合听觉注意力检测的神经导向说话人提取改进
音频与语音处理
2023-12-13 v1 声音
摘要
神经导向的说话人提取旨在从多说话人语音信号中提取听者大脑注意的语音信号，其中注意力源自大脑皮层活动。该活动通常使用脑电图（EEG）设备记录。尽管前景广阔，当前方法通常具有较高的说话人混淆错误，即提取了干扰说话人而非目标说话人，从而降低了聆听体验。在本工作中，我们旨在通过联合微调的辅助听觉注意力检测模型，降低神经导向说话人提取模型中的说话人混淆错误。后者增强了提取的目标语音信号与EEG表示之间的一致性，并改善了EEG表示。实验结果表明，在双说话人场景下，所提出的网络在说话人混淆和整体信号质量方面均显著优于基线。
引用
@article{arxiv.2312.07513,
title = {NeuroHeed+: Improving Neuro-steered Speaker Extraction with Joint Auditory Attention Detection},
author = {Zexu Pan and Gordon Wichern and Francois G. Germain and Sameer Khurana and Jonathan Le Roux},
journal= {arXiv preprint arXiv:2312.07513},
year = {2023}
}