我们实际在解码什么?非侵入式大脑到语言检索的源归因
机器学习
2026-05-26 v1 计算与语言
神经元与认知
摘要
在非侵入式神经语言解码中,结果可能被非刺激诱发的神经证据来源所夸大:解码器先验、基于嵌入的度量以及非神经结构噪声(如信号持续时间)。因此,方法论的挑战在于归因:当报告的增益可以追溯到特定来源时,它才更具信息量。我们将刺激锁定的脑磁图到音频检索重构为一个审计框架,该框架将表观性能分解为三个来源——结构捷径、窗口级刺激锁定证据和跨窗口上下文聚合——并为每个来源提供诊断。在可变长度解码下,无信号的噪声达到了 66.3% 的 Rank@1 (R@1),但一旦强制使用固定时长窗口和刺激身份分割,性能便崩溃至接近随机水平,从而隔离了结构泄漏。在这些控制条件下,固定窗口检索恢复了可测量的 MEG-音频可辨别性,而一个预言机句子桶诊断显示,95.7% 的 Top-1 错误选择了错误的句子,将残余瓶颈定位在句子级竞争上。我们使用组上下文偏置(GCB)来审计这一上下文来源,这是一种推理时的加性 logit 偏置,它汇集了跨窗口的句子一致性证据,同时保持基础检索分数和候选池不变。作为一种分数空间干预,GCB 使上下文来源变得可测量:在相同的固定设置下,R@1 在 Gwilliams 数据集上从 44% 提升到 52%,在 MOUS 数据集上从 22% 提升到 29%。GCB 在此设计下是可审计的:其效果在随机分组扰动下消失,并且当 MEG 中的局部证据减弱或 EEG 中接近随机水平时消失,这支持将其用作一种受控的源归因干预。这些结果表明,脑到语言的性能应进行源归因,而不仅仅是报告。
引用
@article{arxiv.2605.24524,
title = {What Are We Actually Decoding? Source Attribution for Non-Invasive Brain-to-Language Retrieval},
author = {Xinyu Zhang and Sichao Liu and Runhao Lu and Alexandra Woolgar and Lihui Wang},
journal= {arXiv preprint arXiv:2605.24524},
year = {2026}
}
备注
35 pages, 7 figures, 25 tables