SleepFM：面向睡眠的多模态表征学习
机器学习
2024-05-29 v1 人工智能
信号处理
摘要
睡眠是一种复杂的生理过程，通过多种模态的记录来评估电大脑、心脏和呼吸活动。我们构建了一个来自超过14,000名参与者、包含超过100,000小时多模态睡眠记录的数据集。基于这一广泛的数据集，我们开发了SleepFM——首个用于睡眠分析的多模态基础模型。我们展示，一种新颖的leave-one-out对比学习方法，在下游任务性能上显著优于标准成对对比学习得到的表征。在睡眠阶段分类（宏AUROC 0.88 vs 0.72和宏AUPRC 0.72 vs 0.48）和睡眠呼吸紊乱检测（AUROC 0.85 vs 0.69和AUPRC 0.77 vs 0.61）方面，基于SleepFM学习的Logistic回归模型优于端到端训练的卷积神经网络（CNN）。值得注意的是，所学表征在从90,000个候选记录片段中检索到其他模态对应记录片段方面实现了48%的Top-1平均准确率。这一工作表明，全面的数据驱动的多模态睡眠建模能够充分捕捉睡眠记录的丰富性。SleepFM已开源，地址为https://github.com/rthapa84/sleepfm-codebase。
引用
@article{arxiv.2405.17766,
title = {SleepFM: Multi-modal Representation Learning for Sleep Across Brain Activity, ECG and Respiratory Signals},
author = {Rahul Thapa and Bryan He and Magnus Ruud Kjaer and Hyatt Moore and Gauri Ganjoo and Emmanuel Mignot and James Zou},
journal= {arXiv preprint arXiv:2405.17766},
year = {2024}
}