面向想象语音EEG信号的声音重建研究

将人类脑活动的想象语音转化为声音是一项极具挑战且引人入胜的研究课题,其可通过脑信号提供新的人类的交流方式。从脑活动重建语音的努力已在使用口语语音数据的侵入式测量中展现出潜力,但在重建想象语音方面面临挑战。本文中,我们提出NeuroTalk,其将想象语音的非侵入式脑信号转换为用户自身的声音。我们的模型以口语语音EEG训练,并泛化以适应想象语音领域,从而在想象语音与作为真值的声音之间建立自然对应。在我们的框架中,自动语音识别解码器有助于分解生成语音的音素,从而展现出从未见词进行声音重建的潜力。我们的结果暗示了从人类EEG信号合成语音的潜力,不仅来自口语语音,也来自想象语音的脑信号。