脑到文本解码：一种基于打字的非侵入性方法
信号处理
2025-02-26 v1 人工智能
计算与语言
人机交互
摘要
现代神经假体如今已能够为失去说话或行动能力的患者恢复通信功能。然而，这些侵入性设备伴随着神经外科手术固有的风险。在此，我们引入一种非侵入性方法，从大脑活动中解码句子的产生，并在 35 名健康志愿者组成的队列中展示了其有效性。为此，我们提出了 Brain2Qwerty，一种新的深度学习架构，旨在从脑电（EEG）或脑磁图（MEG）中解码句子，同时参与者在 QWERTY 键盘上打出短暂记忆的句子。使用 MEG 时，Brain2Qwerty 的平均字符错误率（CER）达到 32%，并大幅优于 EEG（CER：67%）。对于表现最好的参与者，该模型实现了 19% 的 CER，并且能够完美解码训练集之外的各种句子。尽管错误分析表明解码依赖于运动过程，但对排版错误的分析表明它也涉及更高层次的认知因素。总体而言，这些结果缩小了侵入性与非侵入性方法之间的差距，从而为开发适用于无法交流的患者的安全脑机接口开辟了道路。
引用
@article{arxiv.2502.17480,
title = {Brain-to-Text Decoding: A Non-invasive Approach via Typing},
author = {Jarod Lévy and Mingfang Zhang and Svetlana Pinet and Jérémy Rapin and Hubert Banville and Stéphane d'Ascoli and Jean-Rémi King},
journal= {arXiv preprint arXiv:2502.17480},
year = {2025}
}
备注
15 pages, 5 figures