ViT2EEG：利用混合预训练视觉 Transformer 处理 EEG 数据
计算机视觉与模式识别
2023-08-02 v1 信号处理
摘要
在本研究中，我们展示了在 ImageNet 上预训练的混合 Vision Transformer (ViT) 模型在脑电图 (EEG) 回归任务上的应用。尽管该模型最初针对图像分类任务训练，但在 EEG 数据上微调时，与其他模型（包括未经 ImageNet 权重训练的相同架构 ViT）相比，表现出显著的性能提升。这一发现挑战了关于模型泛化的传统理解，表明在看似无关的图像数据上预训练的 Transformer 模型可通过适当的微调流程为 EEG 回归任务提供有价值的先验。该方法的成功表明，ViT 模型在视觉任务中提取的特征可轻易转化用于 EEG 预测建模。我们建议不仅在神经科学及相关领域，而且一般在因实际、财务或伦理限制而数据收集受限的任何任务中，都采用此方法。我们的结果揭示了预训练模型在其明显不同于原始目的的任务上的潜力。
引用
@article{arxiv.2308.00454,
title = {ViT2EEG: Leveraging Hybrid Pretrained Vision Transformers for EEG Data},
author = {Ruiqi Yang and Eric Modesitt},
journal= {arXiv preprint arXiv:2308.00454},
year = {2023}
}
备注
8 pages, 6 for article, 1 for citation, 1 for appendix. Accepted to KDD-UC 2023