一种多变量并行注意力的基础模型用于生成神经活动
摘要
对于具有异构通道配置的多变量时序数据，深度神经网络面临根本性挑战，这在临床领域如脑内电生理图谱 (iEEG) 中尤为突出，因为不同受试者的通道布局差异很大。本文引入了多变量并行注意力 (MVPA)，这是一种新颖的自注意力机制，通过解耦内容注意力、时间注意力和空间注意力，实现了对时序数据进行灵活、可泛化且高效的建模，能够处理不同通道数量和配置的时序数据。我们使用 MVPA 构建 MVPFormer，一个用于人类生物电生理的生成式基础模型，旨在预测来自不同受试者的 iEEG 信号演化。为支持这一工作及未来社区的努力，我们发布了 SWEC iEEG 数据集，这是目前公开available iEEG 数据集中规模最大的数据集，几乎包含 1 万小时来自异构临床来源的记录。MVPFormer 利用 MVPA 实现了跨受试者的强大泛化能力，在多个 iEEG 任务中展现出专家水平的性能。MVPFormer 在 SWEC、MAYO 和 FNUSA 数据集上的癫痫检测任务中超越了最先进的 Transformer 基线方法，同时在四个 Brain TreeBank iEEG 解码任务中实现了最先进的性能。我们进一步在标准时序预测和分类任务中验证了 MVPA，其性能匹配或优于现有的注意力模型。总体而言，我们的贡献将 MVPA 建立为处理异构时序数据的通用注意力机制，并将 MVPFormer 确立为首个在临床性能上达到最先进水平的、开源、开放权重且开放数据 iEEG 基础模型。代码地址为 https://github.com/IBM/multi-variate-parallel-transformer。SWEC iEEG 数据集地址为 https://huggingface.co/datasets/NeuroTec/SWEC_iEEG_Dataset。
引用
@article{arxiv.2506.20354,
title = {A foundation model with multi-variate parallel attention to generate neuronal activity},
author = {Francesco Carzaniga and Michael Hersche and Abu Sebastian and Kaspar Schindler and Abbas Rahimi},
journal= {arXiv preprint arXiv:2506.20354},
year = {2025}
}
备注
The code is available at https://github.com/IBM/multi-variate-parallel-transformer. The SWEC iEEG dataset is available at https://huggingface.co/datasets/NeuroTec/SWEC_iEEG_Dataset