预训练图对比掩码自编码器是 EEG 的强蒸馈器
机器学习
2025-07-09 v2 人工智能
摘要
有效利用大量无标记高密度 EEG 数据以提高在标记数据稀缺的低密度 EEG 场景中的性能是一个重要挑战。本文将其表述为图迁移学习和知识蒸馏问题。我们提出了一种统一的预训练图对比掩码自编码器蒸馈器，命名为 EEG-DisGCMAE，以弥合标记与无标记以及高密度与低密度 EEG 数据之间的差距。我们的方法引入了一种新的统一图自监督预训练范式，将图对比预训练与图掩码自编码器预训练无缝集成。此外，我们提出了图拓扑蒸馈损失函数，使在高密度数据上训练的轻量级学生模型能够在预训练和微调期间从教师模型学习。该方法有效处理了通过对比蒸馏处理缺失电极。我们在使用两个临床 EEG 数据集进行的四个分类任务中验证了 EEG-DisGCMAE 的有效性。源代码可在 https://github.com/weixinxu666/EEG_DisGCMAE 获取。
引用
@article{arxiv.2411.19230,
title = {Pre-Training Graph Contrastive Masked Autoencoders are Strong Distillers for EEG},
author = {Xinxu Wei and Kanhao Zhao and Yong Jiao and Hua Xie and Lifang He and Yu Zhang},
journal= {arXiv preprint arXiv:2411.19230},
year = {2025}
}
备注
24 pages