基于端到端循环 Q 学习的临床决策支持系统中药物给药的真实感
机器学习
2025-11-26 v2
摘要
临床决策支持系统（CDSS）中强化学习（RL）的应用常常因模型可能推荐不可操作的给药决策而受到质疑。我们提出了一个用于重症监护病房（ICU）中双血管激药器给药的端到端离线 RL 框架，通过原则化的行动空间设计直接解决了这一挑战。该方法整合了离散、连续和方向性给药策略，结合保守 Q 学习，并采用基于回放缓冲区的新型循环建模来捕捉 ICU 时间序列数据中的时序依赖性。我们对不同行动空间形式下的肾内皮激素给药策略进行比较分析，发现所设计的行动空间在改善可解释性和促进临床采纳方面具有重要作用，同时保持有效性。在 eICU 和 MIMIC 数据集上的实验结果表明，行动空间的设计对学习到的行为政策具有深远影响。与基线方法相比，所提出的方法实现了超过 3 倍的预期奖励提升，并与既定的临床协议相吻合。
引用
@article{arxiv.2510.01508,
title = {Realistic CDSS Drug Dosing with End-to-end Recurrent Q-learning for Dual Vasopressor Control},
author = {Will Y. Zou and Jean Feng and Alexandre Kalimouttou and Jennifer Yuntong Zhang and Christopher W. Seymour and Romain Pirracchio},
journal= {arXiv preprint arXiv:2510.01508},
year = {2025}
}
备注
13 pages, 5 figures. Neurips 2025 Workshop Learning from Time Series for Health