SANSformer：采用无注意力模型的电子健康记录自监督预测
机器学习
2023-11-13 v4
摘要
尽管Transformer神经网络在多个领域已被证明有效，它们在电子健康记录(EHR)上的表现可能微妙。EHR数据独特、多维的序列性质有时甚至使带有精心设计的特征的简单线性模型更具竞争力。因此，Transformer的优势，如高效的迁移学习和改进的可扩展性，在EHR应用中并未总是被充分利用。为应对这些挑战，我们引入SANSformer，一种为迎合EHR数据独特特征而设计的带有特定归纳偏置的无注意力序列模型。在这项工作中，我们旨在通过预测患者前往医疗机构的就诊次数来预报医疗服务需求。当处理如罕见病患者等异质患者亚组时，挑战加剧，这些亚组以独特健康轨迹为特征且通常规模较小。为此，我们采用一种自监督预训练策略——生成式摘要预训练(GSP)，其基于患者过往健康记录预测未来摘要统计量。我们的模型在近百万患者的健康登记库上预训练，然后针对特定亚组预测任务微调，展示了处理EHR数据多方面性质的潜力。在评估中，SANSformer持续超越稳健的EHR基线，且我们的GSP预训练方法显著增强了模型性能，尤其在较小患者亚组中。我们的结果揭示了量身定制的无注意力模型与自监督预训练在改进跨不同患者人群的医疗利用预测方面的可喜潜力。
引用
@article{arxiv.2108.13672,
title = {SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models},
author = {Yogesh Kumar and Alexander Ilin and Henri Salo and Sangita Kulathinal and Maarit K. Leinonen and Pekka Marttinen},
journal= {arXiv preprint arXiv:2108.13672},
year = {2023}
}
备注
17 pages, 11 figures, 11 tables, Submitted to an IEEE journal