TimelyGPT：面向医疗长期时间序列预测的可外推Transformer预训练模型

BERT和GPT等大规模预训练模型（PTMs）近期在自然语言处理与计算机视觉领域取得巨大成功。然而，医疗时间序列数据上PTMs的发展仍滞后。这凸显了现有基于Transformer架构的局限，尤其是其处理大规模时间序列的可扩展性以及捕捉长期时间依赖的能力不足。本研究中，我们提出Timely生成式预训练Transformer（TimelyGPT）。TimelyGPT采用可外推位置（xPos）嵌入将趋势与周期模式编码进时间序列表示，并集成循环注意力与 temporal卷积模块以有效捕捉全局-局部时间依赖。我们在两个大规模医疗时间序列数据集上评估了TimelyGPT，分别对应连续生物信号与不规则采样时间序列。实验表明，在预训练期间，TimelyGPT擅长从持续监测的生物信号以及纵向电子健康记录（EHRs）中常见的不规则采样时间序列数据学习表示。在连续生物信号预测中，给定仅含2000个时间步的短查询窗口（即提示），TimelyGPT可在睡眠阶段转换期间准确外推长达6000个时间步的体温。对于不规则采样时间序列，TimelyGPT结合所提出的时间特定推断，在使用早期诊断记录预测未来诊断时展现出高top召回分数，有效处理临床记录间的不规则间隔。综上，我们预期TimelyGPT可广泛应用于健康领域，包括长期患者健康状态预测与患者风险轨迹预测。