TrajGPT：用于健康轨迹分析的非规则时间序列表示学习
机器学习
2024-10-04 v1
摘要
在许多领域，例如医疗保健，时间序列数据通常是非规则采样的，观察之间的间隔各不相同。这给需要等间距数据的经典时间序列模型带来了挑战。为此，我们提出了一种新型时间序列 Transformer，称为轨迹生成式预训练 Transformer（TrajGPT）。TrajGPT采用新颖的选择性循环注意（SRA）机制，该机制利用数据依赖的衰减来根据上下文环境自适应地过滤掉不相关的过去信息。通过将TrajGPT解释为离散常微分方程（ODE），它有效地捕捉了 underlying 的连续动态，并 enables 针对任意目标时间步的 forecasting。实验结果表明，TrajGPT 在轨迹预测、药物使用预测和表型分类方面表现出色，无需针对特定任务进行微调。通过演化所学的连续动态，TrajGPT 可以从部分观察到的时间序列中插值和外推疾病风险轨迹。预测的健康轨迹的可视化显示，TrajGPT 能够基于临床相关表型（即上下文）的历史预测未见的疾病。
关键词
引用
@article{arxiv.2410.02133,
title = {TrajGPT: Irregular Time-Series Representation Learning for Health Trajectory Analysis},
author = {Ziyang Song and Qingcheng Lu and He Zhu and David Buckeridge and Yue Li},
journal= {arXiv preprint arXiv:2410.02133},
year = {2024}
}
备注
9 pages