基于 ImageNet 迁移学习的脑磁图想象言语解码
计算与语言
2026-01-23 v1 人工智能
计算机视觉与模式识别
摘要
由于信号微弱、分布广泛且标注数据有限，非侵入式想象言语解码仍具挑战性。本文引入一种基于图像的方法，将脑磁图（MEG）信号转换为与预训练视觉模型兼容的时频表示。来自 21 名执行想象言语任务的参与者的 MEG 数据，通过可学习的传感器空间卷积被投影为三种空间尺度图混合，从而为 ImageNet 预训练的视觉架构生成紧凑的图像式输入。这些模型优于经典模型和未预训练模型，在想象与静默对比中达到高达 90.4% 的平衡准确率，与默读对比达到 81.0%，元音解码达到 60.6%。跨被试评估证实，预训练模型能捕获共享的神经表征，且时间分析将判别性信息定位于想象锁定的时间区间。这些发现表明，应用于基于图像的 MEG 表示的预训练视觉模型能够有效捕获非侵入式神经信号中想象言语的结构。
引用
@article{arxiv.2601.15909,
title = {Transfer Learning from ImageNet for MEG-Based Decoding of Imagined Speech},
author = {Soufiane Jhilal and Stéphanie Martin and Anne-Lise Giraud},
journal= {arXiv preprint arXiv:2601.15909},
year = {2026}
}
备注
Accepted at IEEE ISBI 2026