解锁非侵入性脑到文本转换
机器学习
2025-05-20 v1
摘要
尽管手术式脑到文本(B2T)——即从侵入性脑记录中转录语音——取得了重大进展，非侵入性替代方案在标准指标上甚至尚未超越随机水平。这仍然是构建无需手术即可恢复瘫痪个体交流能力的非侵入性脑机接口(BCI)的障碍。在此，我们首次展示了显著超越这些关键基线的非侵入性B2T结果，将BLEU较先前工作提升了1.4–2.6倍。这一结果由三项贡献驱动：(1)我们扩展了最近的词分类模型，结合LLM重评分，将单词预测器转化为封闭词汇B2T系统；(2)我们引入预测性填充方法处理词汇外(OOV)词，大幅扩展了有效词汇量；(3)我们首次展示了如何将非侵入性B2T模型跨数据集进行扩展，实现深度学习规模化，并将准确率提升2.1–2.3倍。通过这些贡献，我们为数据质量和词汇量的作用提供了新见解。综合来看，我们的结果消除了实现实用非侵入性B2T系统的主要障碍。
引用
@article{arxiv.2505.13446,
title = {Unlocking Non-Invasive Brain-to-Text},
author = {Dulhan Jayalath and Gilad Landau and Oiwi Parker Jones},
journal= {arXiv preprint arXiv:2505.13446},
year = {2025}
}
备注
27 pages, 10 figures, 10 tables. Under review