作为控制问题的精准医疗：利用模拟与深度强化学习发现脓毒症的适应性个性化多细胞因子疗法
机器学习
2018-03-01 v1 组织与器官
摘要
脓毒症是一种危及生命的病症，在美国每年影响一百万人，其中机体自身免疫系统的失调对其组织造成损伤，导致 28%–50% 的死亡率。过去 20 年中脓毒症治疗的临床试验未能产生任何一种目前经 FDA 批准的药物疗法。在本研究中，我们试图利用先前开发的、模拟先天免疫对感染反应的基于智能体的模型——先天免疫反应基于智能体的模型（IIRABM），来发现一种有效的脓毒症细胞因子调节治疗策略。先前利用 IIRABM 进行多细胞因子调节以降低死亡率的尝试，未能在所有患者参数化下降低死亡率，这促使我们研究适应性、个性化多细胞因子调节是否能够控制脓毒症的轨迹并降低患者死亡率。我们使用 IIRABM 计算了一种治疗策略，其中利用系统性的患者测量值构成反馈回路以指导后续治疗。通过深度强化学习，我们确定了一种在其训练所用的患者参数化上实现 0% 死亡率的策略。更重要的是，该策略在 500 个随机选取的患者参数化上也实现了 0.8% 的死亡率，这些参数化的基线死亡率范围为 1%–99%（平均 49%），覆盖了 IIRABM 整个临床合理的参数空间。这些结果表明，适应性、个性化多细胞因子调节疗法可能是一种有前景的脓毒症治疗方法。我们希望这项工作能激励研究者在未来的临床试验中考虑此类方法。据我们所知，这项工作是首个考虑脓毒症适应性、个性化多细胞因子调节疗法的工作，也是首个在生物模拟上利用深度强化学习的工作。
引用
@article{arxiv.1802.10440,
title = {Precision medicine as a control problem: Using simulation and deep reinforcement learning to discover adaptive, personalized multi-cytokine therapy for sepsis},
author = {Brenden K. Petersen and Jiachen Yang and Will S. Grathwohl and Chase Cockrell and Claudio Santiago and Gary An and Daniel M. Faissol},
journal= {arXiv preprint arXiv:1802.10440},
year = {2018}
}