Brain-CLIPLM：解码脑电图中的压缩语义表示用于语言重建
计算与语言
2026-04-21 v1 人工智能
计算机视觉与模式识别
摘要
从非侵入性脑电图（EEG）中解码自然语言仍然受到低信噪比和有限信息带宽的根本限制。这引发了一个基本问题：句子级语言结构能否从这些信号中可靠恢复。在本文中，我们提出，在现实信息约束下这一假设可能不成立，并转而提出语义压缩假说，即EEG信号编码的是压缩的语义锚点而非完整的语言结构。在这一新视角下，相对于EEG的内在信息容量，直接句子重建成为一个过参数化的目标。为解决这一不匹配问题，我们引入了Brain-CLIPLM，这是一个两阶段框架，它将EEG到文本的解码分解为：通过对比学习进行语义锚点提取，以及使用基于检索的、具有思维链（CoT）推理能力的大语言模型（LLM）进行句子重建，遵循粒度匹配原则，使解码复杂度与神经信息容量对齐。在苏黎世认知语言处理语料库上的评估显示，Brain-CLIPLM在句子检索准确率上达到67.55%（top-5）和85.00%（top-25），显著优于直接解码基线，而跨被试评估证实了其强大的泛化能力。包括置换检验在内的控制分析进一步表明，EEG衍生的表示携带了超越语言模型先验的句子特定信息。这些结果表明，EEG到文本的解码更适合被框架化为恢复压缩的语义内容，而非重建完整句子，为非侵入式脑机接口提供了一条具有生物学基础且数据高效的路径。
引用
@article{arxiv.2604.16370,
title = {Brain-CLIPLM: Decoding Compressed Semantic Representations in EEG for Language Reconstruction},
author = {Xiaoli Yang and Huiyuan Tian and Yurui Li and Jianyu Zhang and Shijian Li and Gang Pan},
journal= {arXiv preprint arXiv:2604.16370},
year = {2026}
}