使用位置预测预训练 Transformer 的标签高效睡眠分期

睡眠分期是诊断各种睡眠障碍的一项具有重要临床意义的任务，但由于其既费时又费力，难以实现大规模部署。基于监督深度学习的方法可以实现睡眠分期的自动化，但代价是需要大量标注数据集，这在许多场景下（如罕见睡眠障碍）是难以实现的。虽然自监督学习 (SSL) 可以缓解这一需求，但近期关于睡眠分期 SSL 的研究表明，在使用仅来自数十名受试者的标注数据进行训练后，性能提升便趋于饱和，因此无法匹配在更大数据集上达到的峰值性能。我们假设这种快速饱和源于采用了次优的预训练方案，该方案仅预训练了架构的一部分（即特征编码器），而未预训练时间编码器；因此，我们建议采用一种将特征编码与时间编码无缝耦合的架构，以及一种预训练整个模型的合适预训练方案。在一个示例睡眠分期数据集上，我们发现所提出的方案提供的性能提升不会随标注训练数据量的增加而饱和（例如，在低标注到高标注数据设置下，平衡睡眠分期准确率提升了 3-5%），从而减少了实现高性能所需的标注训练数据量（例如，减少了 800 名受试者）。基于我们的发现，我们建议在后续的睡眠分期 SSL 研究中采用这种 SSL 范式。