PEMS：预训练的传染病时间序列模型

提供准确可靠的疫情未来预测是支撑明智公共卫生决策的重要问题。近期工作表明，利用深度学习进展从疫情既往数据中学习的数据驱动方案常优于传统机理模型。然而在许多情况下，既往数据稀疏且可能不足以捕捉底层动力学。尽管存在大量来自过往疫情的数据，但从其他疾病的时序数据中借取先验知识仍是非平凡挑战。受预训练模型在语言与视觉任务中成功的启发，我们着手解决预训练传染病时间序列模型以从多种不同疾病与疫情数据集中学习的问题。我们提出预训练传染病时间序列模型（PEMS），其通过将预训练表述为一组自监督学习（SSL）任务，从多种疾病的异构时间序列数据集中学习。我们应对了传染病时间序列预训练所特有的若干重要挑战，如处理异构动力学，并通过精心设计的 SSL 任务高效捕捉多疫情数据集中的有用模式，以学习关于疫情动力学的重要先验，可用于微调至多个下游任务。所得的 PEM 在涵盖不同季节模式、地理与传染机制的数据集的各类下游时间序列任务中优于先前最先进方法，包括预训练数据中未见的新冠（Covid-19）大流行，且以更小规模数据子集取得更优效率。