从非侵入性脑记录中解码单个单词：基于723名受试者的研究
信号处理
2024-12-25 v1 机器学习
摘要
深度学习最近使人能够从少数几名植入脑内电极的受试者的神经活动中解码语言。然而，可靠地从非侵入性记录中解码单词仍是一项开放性挑战。为解决此问题，我们引入了一种新型深度学习管道，用于从非侵入性电脑（EEG）和磁性脑电图（MEG）信号中解码单个单词。我们在723名受试者（暴露于以英语、法语或荷兰语书面或口头形式呈现的500万个单词）身上训练和评估了该方法。我们的模型在受试者、设备、语言和任务之间始终优于现有方法，并且能够解码训练集中未出现的单词。我们的分析表明，记录设备和实验程序的重要性：MEG和阅读比EEG和聆听更容易解码；此外，单个人参与者获取大量数据优于在大量受试者之间重复刺激。最后，单字预测表明，我们的模型有效地依赖于单词语义，同时捕捉到语法和表面特性，如词性、词长甚至单个字母，尤其是在阅读条件下。总体而言，我们的发现描绘了构建用于自然语言的非侵入性脑解码器的道路及其剩余挑战。
引用
@article{arxiv.2412.17829,
title = {Decoding individual words from non-invasive brain recordings across 723 participants},
author = {Stéphane d'Ascoli and Corentin Bel and Jérémy Rapin and Hubert Banville and Yohann Benchetrit and Christophe Pallier and Jean-Rémi King},
journal= {arXiv preprint arXiv:2412.17829},
year = {2024}
}