自监督预训练与迁移学习实现小样本移动感知数据中的流感和 COVID-19 预测

来自手机、手表和健身追踪器的详细移动感知数据提供了前所未有的机会，以量化并作用于先前不可测量的行为变化，从而改善个体健康并加速对新发疾病的响应。与自然语言处理和计算机视觉不同，深度表示学习尚未广泛影响该领域，其中绝大多数研究和临床应用仍依赖人工定义的特征和提升树模型，甚至因精度不足而完全放弃预测建模。这是由于行为健康领域的独特挑战，包括极小的数据集（约 $10^1$ 名参与者），其经常包含缺失数据，由具有关键长程依赖的长时间序列组成（长度 $>10^4$），以及极端的类别不平衡（$>10^3:1$）。在此，我们引入一种为多元时间序列分类设计的神经架构，旨在应对这些独特的领域挑战。我们提出的行为表示学习方法结合了用于自监督预训练的新颖任务以及迁移学习以应对数据稀缺，并通过基于卷积神经网络的降维之后的 transformer 自注意力来捕获长历史时间序列中的长程依赖。我们提出了一个旨在反映合理部署场景中预期真实世界性能的评估框架。具体而言，我们展示了（1）在五个预测任务上相对基线最高 0.15 ROC AUC 的性能提升，（2）在小数据场景中迁移学习带来的 16% PR AUC 性能提升，以及（3）通过独立数据集中零样本 COVID-19 预测的探索性案例研究体现的迁移学习在新疾病场景中的潜力。最后，我们讨论了对于医学监测检测的潜在意义。