基于残差混合专家学习适应临床序列
机器学习
2022-04-07 v1 人工智能
计算机与社会
摘要
电子健康记录（EHRs）中的临床事件序列按时间顺序记录了关于患者状况和患者诊疗的详细信息。近年来，机器学习界对开发解决 EHRs 中信息所定义各类问题的机器学习模型兴趣日益增加。最近，神经序列模型如 RNN 和 LSTM 成为表示患者序列数据并基于此类数据预测未来事件或结果的热门且广泛应用的模型。然而，单一神经序列模型可能无法恰当表示所有患者及其行为差异的复杂动态。本文中，我们旨在通过采用混合专家（MoE）架构来细化“一刀切”模型以缓解此局限。该架构由覆盖患者子群体并细化基模型预测的多个（专家）RNN 模型组成。即，我们并非从头训练专家 RNN 模型，而是将其定义在试图建模群体级模型差异的残差信号上。不同患者序列的异质性通过由 RNN 组成的多个专家建模。特别地，我们并非从头直接训练 MoE，而是基于预训练基 GRU 模型的预测信号增强 MoE。以此方式，混合专家可对单一基 RNN 模型的（有限）预测能力提供灵活适应。我们在真实世界 EHRs 数据和多变量临床事件预测任务上实验了新提出的模型。我们使用门控循环单元（GRU）实现 RNN。我们展示了相比单一 RNN 预测在 AUPRC 统计量上 4.1% 的提升。
引用
@article{arxiv.2204.02687,
title = {Learning to Adapt Clinical Sequences with Residual Mixture of Experts},
author = {Jeong Min Lee and Milos Hauskrecht},
journal= {arXiv preprint arXiv:2204.02687},
year = {2022}
}
备注
Accepted at 20th International Conference on Artificial Intelligence in Medicine (AIME) 2022