大型 Transformer 是更优的脑电学习者
信号处理
2024-04-16 v2 人工智能
机器学习
摘要
预训练的大型 transformer 模型在自然语言处理与计算机视觉领域已取得卓越性能。然而，公开脑电（EEG）数据的有限可用性为将这些模型的成功拓展至基于 EEG 的任务带来了独特挑战。为弥补这一缺口，我们提出 AdaCT，即专为将时间序列数据转换为时空二维伪图像或文本形式而设计的即插即用适配器（Adapters）。本质上，AdaCT-I 将多通道或长单通道时间序列数据转换为时空二维伪图像以微调预训练视觉 transformer，而 AdaCT-T 将短单通道数据转换为文本以微调预训练语言 transformer。所提方法允许在时间序列解码任务（尤其是 EEG 数据分析中）无缝集成预训练视觉模型与语言模型。在包括癫痫发作识别、Sleep-EDF 和 UCI HAR 在内的多样化基准数据集上的实验结果证明了 AdaCT 相对于基线方法的优越性。总体而言，我们提供了一个有前景的迁移学习框架，用于在基于 EEG 的任务中利用预训练视觉与语言模型的能力，从而推进时间序列解码领域并增强 EEG 数据分析的可解释性。我们的代码将发布于 https://github.com/wangbxj1234/AdaCE。
引用
@article{arxiv.2308.11654,
title = {Large Transformers are Better EEG Learners},
author = {Bingxin Wang and Xiaowen Fu and Yuan Lan and Luchan Zhang and Wei Zheng and Yang Xiang},
journal= {arXiv preprint arXiv:2308.11654},
year = {2024}
}