基于 Transformer 深度学习模型的演化纵向健康轨迹建模

健康登记记录包含关于个体健康历史的丰富信息。本文关注理解个体健康轨迹如何在带有编码特征（如临床代码、程序和药品购买）的全国纵向数据集中演变。我们提出了一种简明方法，通过修改训练目标并应用因果注意力掩码来训练 Transformer 深度学习模型，从而分析个体轨迹随时间的变化。我们专注于预测给定未来预测区间内多种常见疾病的发病风险。然而，与此不同的是，我们的方法不仅能提供预测区间可能发生的诊断预测，还能在预测期开始前的每个时间点持续提供预测，并以该时间点的状态为条件。我们发现，该模型在基本预测性能上与其他模型（包括双向 Transformer 模型）相当，同时还能提供有前景的轨迹建模特性。我们探讨了几种方法，利用该模型分析健康轨迹并辅助早期检测可能预测后续疾病发作的事件。我们假设，这种方法在持续监控人们的健康轨迹并实现ongoing health trajectories 的干预方面可能有所帮助，同时在回顾性分析中也很有用。