融合预训练 ViT 与 TCNet 以增强 EEG 回归
信号处理
2024-08-08 v2 人工智能
机器学习
摘要
脑电图 (EEG) 分析任务对脑机接口 (BCI) 的发展至关重要。然而，要实现开发稳健且实用的 BCI 这一目标，在很大程度上取决于 BCI 理解神经动态的速度和准确性。为了实现这一目标，本文详细介绍了将预训练视觉 Transformer (ViT) 与时间卷积网络 (TCNet) 相结合，以提高 EEG 回归的精度。这种方法的核心在于利用 ViT 的序列数据处理优势以及 TCNet 卓越的特征提取能力，从而显著提高 EEG 分析的准确性。此外，我们分析了如何为注意力机制构建最优图像块以进行分析的重要性，在速度和准确性之间取得平衡。我们的结果展示了回归准确率的显著提升，在 EEGEyeNet 的绝对位置任务上，均方根误差 (RMSE) 从 55.4 降至 51.8，优于现有的最先进模型。在不牺牲性能的情况下，我们将该模型的速度提高了一个数量级（最高快 4.32 倍）。这一突破不仅为 EEG 回归分析设定了新的基准，也为未来研究将 Transformer 架构与专门的特征提取方法相结合以处理多样化 EEG 数据集开辟了新途径。
引用
@article{arxiv.2404.15311,
title = {Fusing Pretrained ViTs with TCNet for Enhanced EEG Regression},
author = {Eric Modesitt and Haicheng Yin and Williams Huang Wang and Brian Lu},
journal= {arXiv preprint arXiv:2404.15311},
year = {2024}
}
备注
Accepted HCI International 2024