NeuSpeech：将神经信号解码为语音
计算与语言
2024-06-04 v3 人工智能
摘要
从大脑动态中解码语言是脑机接口（BCI）领域的一个重要开放方向，尤其是考虑到大语言模型的快速发展。与需要电极植入手术的侵入式信号相比，非侵入式神经信号（如EEG、MEG）因其安全性和普适性而受到越来越多的关注。然而，现有探索在三个方面尚不充分：1）以往方法主要关注EEG，但尚无工作针对信号质量更好的MEG解决此问题；2）先前工作主要在生成解码中使用“教师强制”，这在实际中不可行；3）先前工作大多基于“BART”，并非完全自回归，而后者在其他序列任务中表现更好。在本文中，我们以语音解码的形式探索MEG信号的脑到文本翻译。我们首次研究了基于交叉注意力的“whisper”模型，无需教师强制即可直接从MEG信号生成文本。我们的模型在两个主要数据集（GWilliams和Schoffelen）上，无需预训练和教师强制，即取得了60.30和52.89的令人印象深刻的BLEU-1分数。本文进行了全面回顾，以理解语音解码形式在神经解码任务上的表现，包括预训练初始化、训练和评估集划分、数据增强以及缩放定律。代码可在https://github.com/NeuSpeech/NeuSpeech1获取。
引用
@article{arxiv.2403.01748,
title = {NeuSpeech: Decode Neural signal as Speech},
author = {Yiqian Yang and Yiqun Duan and Qiang Zhang and Hyejeong Jo and Jinni Zhou and Won Hee Lee and Renjing Xu and Hui Xiong},
journal= {arXiv preprint arXiv:2403.01748},
year = {2024}
}