CORTEG：基座模型实现从皮层到颅内脑记录的跨模态表示迁移
人工智能
2026-05-12 v1 信号处理
摘要
颅内电偶极阵列 (ECoG) 提供了对皮层活动的高信噪比访问，然而受限于每位患者的数据量，导致大多数 prior 工作依赖小规模、subject-specific 的解码器，忽略了跨患者共享的信息。我们研究是否可以将大规模预训练的皮层-EEG 基础模型 (EEG FMs) 适配到 ECoG，从而实现跨患者学习和在单张 GPU 上 10-30 分钟内对 held-out 患者进行校准，获得竞争力的解码性能。我们引入 CORTEG，一种结合预训练 EEG FM 主干网络、电极感知的 KNNSoftFourier 空间适配器、用于低频和高伽马活动的双流标记化器，以及 leave-one-subject-out 微调策略的跨模态迁移框架。我们在两个具有挑战性的回归任务上评估 CORTEG：公共手指轨迹回归 (n=9) 和私人音频包络回归 (n=16)。CORTEG 在两个任务上均匹配或超越了最强的 task-specific 基线：它在公共手指基准测试中实现了最高的平均相关性 (在 n=9 位主体上未观察到统计意义的提升)，在音频任务和低数据 per-patient 校准中实现更大且具有统计显著性的提升。特征分析与神经生理学一致，潜在流形捕获了低维手指运动结构。CORTEG 提供了系统性证据表明皮层-EEG 预训练可以被 repurposed 用于 ECoG 解码，实现能够适应新患者的数据高效颅内 BCIs。
关键词
引用
@article{arxiv.2605.10337,
title = {CORTEG: Foundation Models Enable Cross-Modality Representation Transfer from Scalp to Intracranial Brain Recordings},
author = {Liuyin Yang and Qiang Sun and Bob Van Dyck and Eva Calvo Merino and Marc M. Van Hulle},
journal= {arXiv preprint arXiv:2605.10337},
year = {2026}
}