基于慢fMRI微调语言编码模型以提高快速ECoG预测性能
计算与语言
2026-05-20 v1
摘要
神经科学家最近转向内在脑记录方法，如电内皮层刺激（ECoG），用于人类实验，因为该方法提供细粒度的空间和时间分辨率。然而，在脑数据上训练的模型基本受限于能够接受植入手术的患者人群。我们提出使用非侵入性fMRI来填补训练数据的差距。通过对fMRI微调的语言表征，我们构建了ECoG的编码模型。这些表征即使fMRI的时间分辨率差了两个数量级，仍在ECoG中实现了 improved 预测性能。在fMRI直接测量之外的多个频段中，预测效果均得到提升。接下来，为测试程序的泛化能力，我们对在fMRI响应中按比例2降采样后进行微调。尽管分辨率丢失，这些模型仍能预测fMRI和ECoG响应，性能相当于原始fMRI微调模型。最后，我们展示了ECoG性能随fMRI微调数据的数量而稳定增长。我们的结果表明，像fMRI这样的“慢”数据可以是构建更好“快速”脑数据（如ECoG）模型的宝贵资源。未来，跨越多种记录方法的整合可能进一步提高其他应用（如解码）的性能。
引用
@article{arxiv.2605.19224,
title = {Fine-tuning language encoding models on slow fMRI improves prediction for fast ECoG},
author = {Aditya R. Vaidya and Richard J. Antonello and Alexander G. Huth},
journal= {arXiv preprint arXiv:2605.19224},
year = {2026}
}