S-JEPA：通过动态空间注意力实现无缝跨数据集迁移
机器学习
2024-10-10 v2 人工智能
摘要
受 EEG 信号处理中无缝跨数据集迁移挑战的启发，本文介绍了关于联合嵌入预测架构 (JEPA) 的一项探索性研究。近年来，自监督学习已成为在各个领域进行迁移学习的一种极具前景的方法。然而，其在 EEG 信号上的应用在很大程度上尚未被探索。在本文中，我们引入了 Signal-JEPA 用于表示 EEG 记录，它包含一种新颖的领域特定空间块掩码策略和三种用于下游分类的新颖架构。该研究在一个包含 54 名受试者的数据集上进行，并在三种不同的 BCI 范式上评估了模型的下游性能：运动想象、ERP 和 SSVEP。我们的研究为 JEPA 在 EEG 信号编码中的潜力提供了初步证据。值得注意的是，我们的结果突出了空间滤波对于准确下游分类的重要性，并揭示了预训练样本长度对下游性能有影响，而掩码大小则没有影响。
引用
@article{arxiv.2403.11772,
title = {S-JEPA: towards seamless cross-dataset transfer through dynamic spatial attention},
author = {Pierre Guetschel and Thomas Moreau and Michael Tangermann},
journal= {arXiv preprint arXiv:2403.11772},
year = {2024}
}