基于EEG引导的录音语音混合中受关注说话人提取及在神经转向助听器中的应用
摘要
目的：我们旨在从嘈杂的双说话人声学场景中提取并去噪受关注说话人，依赖于来自双耳助听器的麦克风阵列录音，并辅以脑电图(EEG)记录以推断感兴趣说话人。方法：在本研究中，我们提出一种模块化处理流程，首先从麦克风录音中提取两个语音包络，然后基于EEG选择受关注的语音包络，最后利用该包络指导多通道语音分离与去噪算法。结果：实现了对干扰(未受关注)语音和背景噪声的强抑制，同时保留受关注语音。此外，基于EEG的听觉注意检测(AAD)对含噪语音信号的使用表现出鲁棒性。结论：我们的结果表明，基于AAD从麦克风阵列录音中提取说话人可行且鲁棒，即使在嘈杂声学环境中，且无法获得干净语音信号来进行基于EEG的AAD时也是如此。意义：当前关于AAD的研究总是假设干净语音信号可用，这限制了其在真实环境中的适用性。我们扩展了该研究，以即使在仅有含噪语音混合的麦克风录音时也能检测受关注说话人。这是神经转向助听器中新型脑机接口和有效滤波方案的使能要素。在此，我们提供了EEG引导的受关注说话人提取与去噪的首个概念验证。
引用
@article{arxiv.1602.05702,
title = {EEG-informed attended speaker extraction from recorded speech mixtures with application in neuro-steered hearing prostheses},
author = {Simon Van Eyndhoven and Tom Francart and Alexander Bertrand},
journal= {arXiv preprint arXiv:1602.05702},
year = {2019}
}
备注
This paper is published in IEEE Transactions on Biomedical Engineering (2016) and is under copyright. Please cite this paper as: S. Van Eyndhoven, T. Francart, and A. Bertrand, "EEG-informed attended speaker extraction from recorded speech mixtures with application in neuro-steered hearing prostheses", IEEE Transactions on Biomedical Engineering, vol. 64, no. 5, pp. 1045-1056, 2017