Laya：基于 LeJEPA 的 EEG 隐层预测方法
机器学习
2026-05-08 v2 神经元与认知
摘要
脑电图（EEG）是研究脑功能的广泛应用工具，已在临床神经科学、诊断和脑机接口（BCI）中得到应用。近期在大规模无标签语料库上训练的 EEG 基础模型旨在学习可迁移的表示，但其有效性仍不明确；报告的改进往往有限、对下游适应和微调策略敏感，且在线性探测下效果不佳。我们假设其中的一个Contributing因素是依赖信号重建作为主要的自监督学习（SSL）目标，这导致表示偏向高方差噪声，而非与任务相关的神经结构。为此，我们探索了基于联合嵌入预测架构（JEPA）的 SSL 范式，通过预测隐层表示来学习。我们引入 Laya，首个基于 LeJEPA 的 EEG 基础模型。我们表明，隐层预测得到的表示能够编码 EEG 中的语义结构：Laya 嵌入能够跟踪癫痫发作的临床相关状态变化，抗噪能力强，并在冻结线性探测下实现最强的平均临床准确率，尤其在那些相关神经模式微弱且易被噪声遮蔽的任务中取得显著提升。对比匹配的 MAE 变体的受控消融实验表明，预训练目标的选择而非架构或数据，是这些提升的主要驱动因素。
引用
@article{arxiv.2603.16281,
title = {Laya: A LeJEPA Approach to EEG via Latent Prediction over Reconstruction},
author = {Saarang Panchavati and Uddhav Panchavati and Hiroki Nariai and Corey Arnold and William Speier},
journal= {arXiv preprint arXiv:2603.16281},
year = {2026}
}