利用强化学习预测重症监护病房中的输血需求
机器学习
2022-06-30 v1 人工智能
摘要
由于危重患者常出现贫血或凝血功能障碍，血液制品输注是重症监护病房（ICU）中的常见干预手段。然而，医师做出的不当输血决策常伴随并发症风险增加与更高的医院成本。在本工作中，我们旨在开发一种决策支持工具，利用可用的患者信息对三种常见血液制品（红细胞、血小板和新鲜冰冻血浆）进行输血决策。为此，我们采用一种离策略批量强化学习（RL）算法，即离散化批量约束 Q 学习（discretized Batch Constrained Q-learning），以在给定观测患者轨迹时确定最佳动作（输血与否）。同时，我们考虑不同的状态表示方法与奖励设计机制，以评估它们对策略学习的影响。实验在两个真实世界重症监护数据集上进行：MIMIC-III 与 UCSF。结果表明，通过准确率与加权重要性采样评估，在 MIMIC-III 数据集上输血策略推荐与真实医院策略取得了可比较的匹配度。此外，在数据稀缺的 UCSF 数据集上，迁移学习（TL）与 RL 的结合可在准确率上提供高达 的提升，并在跳跃起始（jump-start）与渐近性能上通过加权平均重要性采样在三项输血任务上分别提供高达 18.94% 与 21.63% 的提升。最后，输血决策模拟表明，迁移后的 RL 策略在 UCSF 数据集上可使患者估计的 28 天死亡率降低 2.74%，并使病情严重程度升高率降低 1.18%。
引用
@article{arxiv.2206.14198,
title = {Predicting the Need for Blood Transfusion in Intensive Care Units with Reinforcement Learning},
author = {Yuqing Wang and Yun Zhao and Linda Petzold},
journal= {arXiv preprint arXiv:2206.14198},
year = {2022}
}
备注
Proceedings of 13th International ACM Conference on Bioinformatics, Computational Biology and Health Informatics