MEG-XL：通过长上下文预训练实现数据高效的脑到文本
机器学习
2026-05-12 v2 神经元与认知
摘要
临床脑到文本界面被设计用于无法提供大量训练录音的瘫痪患者。预训练通过在受试者之间学习统计性先验来提高数据效率的泛化，但这些先验关键性地依赖于上下文。虽然自然语音可能持续数分钟，但大多数方法仅使用几秒钟的上下文进行预训练。因此，我们提出 MEG-XL，采用每样本 2.5 分钟的 MEG 上下文进行预训练，时长是 prior work 的 5-300 倍，等效于 191k token，捕获扩展的神经上下文。在进行单词解码任务的微调后，MEG-XL 仅需少量数据（例如 1 小时 vs 50 小时）即可匹配受监督性能，并超越脑基座模型。我们发现，采用更长上下文预训练的模型在单词解码方面的表示迁移能力更好。我们的结果表明，长上下文预训练有助于利用扩展的神经上下文，而其他方法却不得不舍弃这一信息。代码、模型权重和说明均可在 https://github.com/neural-processing-lab/MEG-XL 获取。
引用
@article{arxiv.2602.02494,
title = {MEG-XL: Data-Efficient Brain-to-Text via Long-Context Pre-Training},
author = {Dulhan Jayalath and Oiwi Parker Jones},
journal= {arXiv preprint arXiv:2602.02494},
year = {2026}
}
备注
Published as a conference paper at ICML 2026. 19 pages, 8 figures, 5 tables