重新审视随机 Transformer 作为睡眠分期的自适应序列平滑器
机器学习
2026-05-12 v1 人工智能
摘要
自动睡眠分期通常采用 Transformer，前提是假设它们能学习复杂的远程依赖关系。我们通过揭示睡眠序列一个被忽视的特性来挑战这一观点：强烈的局部时间连续性。我们表明，随机初始化的 Transformer 无需任何训练即可大幅提升睡眠分期性能，并始终优于启发式平滑。我们通过随机注意力先验核形式化了这一效果，表明随机自注意力通过在全局平均与基于内容的相似性之间取得平衡，同时保留阶段转换，从而充当了自适应平滑器。利用局部平滑影响指数（LSII）和加权转移熵（WTE）这两个指标，我们提供了证据表明，基于 Transformer 的睡眠分期中的大部分性能增益源于架构归纳偏置而非参数学习。我们的结果表明，睡眠分期可以通过结构驱动的平滑机制有效解决，而无需复杂的依赖建模，从而为大规模生理监测实现更高效且可边缘部署的医疗系统。
引用
@article{arxiv.2605.09905,
title = {Rethinking Random Transformers as Adaptive Sequence Smoothers for Sleep Staging},
author = {Guisong Liu and Xin Gao and Martin Dresler and Jiansong Zhang and Pengfei Wei},
journal= {arXiv preprint arXiv:2605.09905},
year = {2026}
}