基于模型的强化学习用于个性化肝素给药

序贯决策中的一个关键挑战是在部分信息下安全地优化系统。尽管大量文献关注状态部分已知或动力学部分已知的情形，但当状态与动力学均部分已知时问题更加严峻。为患者计算肝素剂量即符合这一范式，因为患者体内肝素浓度无法直接测量，且不同个体代谢肝素的速率差异极大。虽然许多提出的解决方案是无模型的，但它们需要复杂模型且难以确保安全。然而，若动力学部分结构已知，则可利用基于模型的方法提供安全策略。本文提出这样一个框架以应对优化个性化肝素剂量的挑战。我们使用按患者个体参数化的预测模型来预测未来治疗效果，随后通过基于情景生成的方法利用该模型，从而能够确保患者安全。我们通过数值实验验证模型：将本文模型的预测能力与现有机器学习技术比较，并展示我们的给药算法如何在模拟 ICU 环境中治疗患者。