sDREAMER：用于自动睡眠分期的自蒸馏模态混合专家 Transformer
机器学习
2025-01-28 v1 人工智能
摘要
基于脑电图（EEG）和肌电图（EMG）信号的自动睡眠分期是睡眠相关研究的重要方面。当前的睡眠分期方法存在两大缺陷。首先，现有方法中模态间的信息交互有限。其次，当前方法未开发能处理不同输入源的统一模型。为解决这些问题，我们提出了一种新型睡眠分期模型 sDREAMER，强调跨模态交互和单通道性能。具体而言，我们开发了一个模态混合专家模型，包含分别用于 EEG、EMG 和混合信号且具有部分共享权重的三条路径。我们进一步提出了一种自蒸馏训练方案，以实现跨模态的进一步信息交互。我们的模型使用多通道输入进行训练，并能在单通道或多通道输入上进行分类。实验表明，在多通道推理方面，我们的模型优于现有的基于 Transformer 的睡眠评分方法。在单通道推理方面，我们的模型也优于使用单通道信号训练的基于 Transformer 的模型。
引用
@article{arxiv.2501.16329,
title = {sDREAMER: Self-distilled Mixture-of-Modality-Experts Transformer for Automatic Sleep Staging},
author = {Jingyuan Chen and Yuan Yao and Mie Anderson and Natalie Hauglund and Celia Kjaerby and Verena Untiet and Maiken Nedergaard and Jiebo Luo},
journal= {arXiv preprint arXiv:2501.16329},
year = {2025}
}