脑-语言融合：实现交互式神经解码与体内实验
机器学习
2025-12-23 v2 神经元与认知
摘要
大型语言模型（LLM）已彻底变革了人机交互，并通过将多模态信息（如图像）嵌入共享语言空间来得到扩展。然而，神经解码仍受制于静态、非交互式方法。我们引入 CorText 框架，将神经活动直接集成到 LLM 的潜在空间中，实现与脑数据之间的开放式、自然语言交互。在训练于观看自然场景时记录的 fMRI 数据后，CorText 能够生成准确的图像描述，并能比对照组更好地回答更详细的问题，仅凭访问神经数据即可实现。我们展示了 CorText 在语义类别之外实现零样本泛化的能力。体内微刺激实验，揭示了脑状态与语言输出之间一致且分层的映射。这些进展标志着从被动解码向神经活动与语言之间生成式、灵活接口的转变。
引用
@article{arxiv.2509.23941,
title = {Brain-language fusion enables interactive neural readout and in-silico experimentation},
author = {Victoria Bosch and Daniel Anthes and Adrien Doerig and Sushrut Thorat and Peter König and Tim Christian Kietzmann},
journal= {arXiv preprint arXiv:2509.23941},
year = {2025}
}
备注
v2