轨迹检查：一种用于强化学习研究的迭代式临床医生驱动设计方法
机器学习
2020-12-23 v2 人工智能
摘要
强化学习（RL）有潜力显著改善临床决策。然而，从观测数据通过 RL 学习得到的治疗策略对研究设计中细微的选择十分敏感。我们强调一种简单的方法——轨迹检查，以将临床医生引入基于模型的 RL 研究的迭代设计过程。我们识别模型推荐出乎意料激进的治疗，或从其推荐中期望令人惊讶的积极结果的位置。然后，我们检查用学习到的模型和策略模拟的临床轨迹与实际医院病程。将该方法应用于近期关于脓毒症管理 RL 的工作，我们发现了一种偏向出院的模型偏差、可能对小样本量相关的高血管加压药剂量的偏好，以及不递减血管加压药即出院的临床不合理期望。我们希望通过检测并解决我们方法揭示的问题的迭代，将产生在部署中激发更多信心的 RL 策略。
引用
@article{arxiv.2010.04279,
title = {Trajectory Inspection: A Method for Iterative Clinician-Driven Design of Reinforcement Learning Studies},
author = {Christina X. Ji and Michael Oberst and Sanjat Kanjilal and David Sontag},
journal= {arXiv preprint arXiv:2010.04279},
year = {2020}
}
备注
To appear in AMIA 2021 virtual informatics summit