BrainLLM：基于脑记录的生成式语言解码
计算与语言
2025-11-04 v6
摘要
通过非侵入式脑机接口（BCI）生成人类语言具有释放诸多应用的潜力，例如服务残障患者与改善交流。然而，目前通过 BCI 生成语言仅在分类框架下取得成功，即从预先生成的句子续写候选中选出具有最可能皮层语义表征者。受近期揭示大脑与大型计算语言模型之间关联的研究启发，我们提出了一种生成式语言 BCI，其利用大型语言模型（LLM）的能力与语义脑解码器相结合，直接从功能磁共振成像（fMRI）输入生成语言。所提模型能够生成与所感知的视觉或听觉语言刺激的语义内容相一致的连贯语言序列，而无需任何预生成候选的先验知识。我们将该模型生成的语言与随机控制、预生成语言选择方法以及标准 LLM 进行比较，后者仅基于根据统计语言训练数据的下一词似然生成常见的连贯文本。研究发现，所提模型生成的语言与采样脑输入所响应的语义刺激更为一致。我们的发现证明了在直接语言生成中采用 BCI 的潜力与可行性。
引用
@article{arxiv.2311.09889,
title = {BrainLLM: Generative Language Decoding from Brain Recordings},
author = {Ziyi Ye and Qingyao Ai and Yiqun Liu and Maarten de Rijke and Min Zhang and Christina Lioma and Tuukka Ruotsalo},
journal= {arXiv preprint arXiv:2311.09889},
year = {2025}
}
备注
Nature Communications Biology