利用深度强化学习滴定丙泊酚以控制无意识水平
机器学习
2020-09-10 v2 人工智能
机器学习
摘要
强化学习（RL）可用于拟合从患者状态到用药方案的映射。先前的研究使用确定性的、基于值的表格学习，从观测到的麻醉状态中学习丙泊酚剂量。深度RL用深度神经网络替代表格，并已被用于从登记数据库中学习用药方案。在此，我们首次将深度RL应用于仿真环境中麻醉给药的闭环控制。我们使用交叉熵方法训练深度神经网络，将观测到的麻醉状态映射为输注固定丙泊酚剂量的概率。在测试期间，我们实施一种确定性策略，将输注概率转换为连续输注速率。该模型在具有随机参数的仿真药代动力学/药效学模型上训练和测试，以确保对患者变异性的鲁棒性。深度RL智能体显著优于比例-积分-微分控制器（中位绝对性能误差分别为1.7% ± 0.6 和 3.4% ± 1.2）。对连续输入变量而非表格建模提供了更鲁棒的模式识别，并利用了我们先前的领域知识。深度RL学习到了一种平滑的策略，对数据科学家和麻醉照护者而言都具有直观的解释。
引用
@article{arxiv.2008.12333,
title = {Controlling Level of Unconsciousness by Titrating Propofol with Deep Reinforcement Learning},
author = {Gabe Schamberg and Marcus Badgeley and Emery N. Brown},
journal= {arXiv preprint arXiv:2008.12333},
year = {2020}
}
备注
International Conference on Artificial Intelligence in Medicine 2020