观测性医疗场景中强化学习算法的评估
机器学习
2018-06-01 v1 机器学习
摘要
近来，人们投入大量精力开发机器学习算法，旨在改进医疗中的治疗策略。强化学习（RL）是机器学习的一个子领域，关注如何学习做出一系列决策以优化长期效果。已有RL算法被提出用于确定机械通气、脓毒症管理和精神分裂症治疗的决策策略。然而，在高风险临床决策问题中实施由黑盒算法学习到的治疗策略之前，必须对这些策略的评估给予特别谨慎。在本文中，我们的目标是指出在医疗中评估RL算法的一些微妙之处。我们旨在为临床与计算研究人员提供一个概念性起点，以便在设计和评估用于新患者治疗方式算法时提出正确的问题。在下文中，我们描述了关于如何概括病史、统计估计量的方差，以及更临时度量中的混杂因素等选择，如何导致对治疗策略质量不可靠甚至误导性的估计。我们还提供了缓解这些影响的建议——尽管从观测性医疗数据中挖掘以发现更好治疗策略前景广阔，但评估必须审慎进行。
引用
@article{arxiv.1805.12298,
title = {Evaluating Reinforcement Learning Algorithms in Observational Health Settings},
author = {Omer Gottesman and Fredrik Johansson and Joshua Meier and Jack Dent and Donghun Lee and Srivatsan Srinivasan and Linying Zhang and Yi Ding and David Wihl and Xuefeng Peng and Jiayu Yao and Isaac Lage and Christopher Mosch and Li-wei H. Lehman and Matthieu Komorowski and Matthieu Komorowski and Aldo Faisal and Leo Anthony Celi and David Sontag and Finale Doshi-Velez},
journal= {arXiv preprint arXiv:1805.12298},
year = {2018}
}