从视频到脑电图：适应联合嵌入预测架构以揭示脑信号分析中的时空动态
计算机视觉与模式识别
2026-03-16 v5 人工智能
机器学习
摘要
脑电图信号以高时间分辨率和低空间分辨率捕获大脑活动，支持神经诊断、认知监测和脑机接口等应用。然而，由于标记数据有限、高维性以及缺乏能够完全捕获时空依赖性的可扩展模型，有效分析受到阻碍。现有的自监督学习方法通常侧重于空间或时间特征，导致表示次优。为此，我们提出了EEG-VJEPA，这是视频联合嵌入预测架构(V-JEPA)在脑电图分类中的一种新颖改编。通过将脑电图视为类似视频的序列，EEG-VJEPA利用联合嵌入和自适应掩码学习具有语义意义的时空表示。据我们所知，这是首个利用V-JEPA进行脑电图分类并探索模型所学视觉概念的工作。在公开可用的天普大学医院(TUH)异常脑电图数据集上的评估表明，EEG-VJEPA在分类准确率上优于现有最先进模型。除了分类准确率，EEG-VJEPA还捕获了生理相关的空间和时间信号模式，提供了可解释的嵌入，可能支持诊断工作流程中的人机协作。这些发现将EEG-VJEPA定位为在真实临床环境中进行可扩展、可信赖脑电图分析的有前景框架。
引用
@article{arxiv.2507.03633,
title = {From Video to EEG: Adapting Joint Embedding Predictive Architecture to Uncover Saptiotemporal Dynamics in Brain Signal Analysis},
author = {Amirabbas Hojjati and Lu Li and Ibrahim Hameed and Anis Yazidi and Pedro G. Lind and Rabindra Khadka},
journal= {arXiv preprint arXiv:2507.03633},
year = {2026}
}