基于深度离线强化学习的安全机械通气治疗研究
机器学习
2022-10-07 v1
摘要
机械通气是肺部受损患者的一种关键生命支持形式。医护人员需要持续为每个患者调整呼吸机设置，这是一项具有挑战性且耗时的任务。因此，开发一种自动化决策支持工具来优化通气治疗将大有裨益。我们提出 DeepVent，一种基于保守 Q 学习（CQL）的离线深度强化学习（DRL）智能体，它学习预测患者的最佳呼吸机参数以促进 90 天存活。我们设计了一个临床相关的中间奖励，鼓励患者生命体征的持续改善，并解决 RL 中稀疏奖励的挑战。我们发现 DeepVent 推荐的通气参数处于安全范围内，如近期临床试验所概述。CQL 算法通过缓解对分布外状态/动作价值估计的高估提供了额外的安全性。我们使用拟合 Q 评估（FQE）评估我们的智能体，并证明它优于来自 MIMIC-III 数据集的医生。
引用
@article{arxiv.2210.02552,
title = {Towards Safe Mechanical Ventilation Treatment Using Deep Offline Reinforcement Learning},
author = {Flemming Kondrup and Thomas Jiralerspong and Elaine Lau and Nathan de Lara and Jacob Shkrob and My Duc Tran and Doina Precup and Sumana Basu},
journal= {arXiv preprint arXiv:2210.02552},
year = {2022}
}
备注
to be published in IAAI (Innovative Applications of Artificial Intelligence) 2023