使用深度强化学习学习术中低血压的最优治疗策略

传统的手术决策方法严重依赖人类经验和即时行动，这些具有变异性。一个基于患者状态生成治疗建议的数据驱动系统可以成为围手术期决策的重要资产，例如在术中低血压的情况下，其管理不善与急性肾损伤（AKI）相关，这是一种常见且发病的术后并发症。我们开发了一个强化学习（RL）模型，用于推荐手术期间静脉（IV）输液和血管升压药的最佳剂量，以避免术中低血压和术后 AKI。我们回顾性分析了 2014 年 6 月至 2020 年 9 月期间在一家四级护理医院接受大手术的 42,547 名成年患者的 50,021 台手术。其中，34,186 台手术用于模型训练，15,835 台手术用于测试。我们开发了一个基于 Deep Q-Networks 的 RL 模型，使用了 16 个变量，包括术中生理时间序列，以及每 15 分钟时段提取的 IV 输液和血管升压药总剂量。该模型在血管升压药剂量上复现了 69% 的医生决策，并在 10% 和 21% 的治疗中分别提出了高于或低于实际接受的血管升压药剂量。在 IV 输液方面，该模型的建议在 41% 的病例中与实际剂量的差距在 0.05 ml/kg/15 min 以内，并在 27% 和 32% 的治疗中分别建议了更高或更低的剂量。与医生的实际治疗以及随机和零药物策略相比，该模型产生了更高的估计策略值。在接受与模型决策一致的药物剂量的患者中，AKI 患病率最低。我们的研究结果表明，实施该模型的策略有可能减少术后 AKI 并改善由术中低血压驱动的其他结局。