NeuroHeed：基于 EEG 信号的神经引导说话人提取
音频与语音处理
2023-07-27 v1
摘要
人类拥有在相互竞争的声音和背景噪声中选择性地关注单一说话人的非凡能力，称为选择性听觉注意。听觉神经科学近期的研究表明，被关注的语音信号与相应的大脑诱发神经元活动之间存在强相关性，而后者可使用廉价且非侵入式的脑电图（EEG）设备进行测量。在本研究中，我们提出 NeuroHeed，一种利用 EEG 信号建立与时间上和语音刺激相关联的神经元吸引子的说话人提取模型，从而在鸡尾酒会场景中促进被关注语音信号的提取。我们提出了离线与在线两种 NeuroHeed，其中后者专为实时推理设计。在在线 NeuroHeed 中，我们额外提出了一种自回归说话人编码器，其累积过去提取的语音信号，用于将所关注说话人信息自注册到听觉吸引子中，从而随时间保持注意动量。在线 NeuroHeed 在两个吸引子的引导下提取当前窗口的语音信号。实验结果表明，NeuroHeed 能有效提取大脑所关注的语音信号，在两说话人场景下实现了高信号质量、优异的感知质量与可懂度。
引用
@article{arxiv.2307.14303,
title = {NeuroHeed: Neuro-Steered Speaker Extraction using EEG Signals},
author = {Zexu Pan and Marvin Borsdorf and Siqi Cai and Tanja Schultz and Haizhou Li},
journal= {arXiv preprint arXiv:2307.14303},
year = {2023}
}