优化重症监护中脓毒症医疗方案：从强化学习到试验前评估

我们的目标是建立一个框架，其中对干预措施进行回顾性优化的强化学习（RL）能为所学策略的前瞻性临床测试提供一条符合监管的临床试验路径。我们关注重症监护病房中的感染，这是主要死因之一，且因患者动态复杂而不透明、每位患者所需干预策略在临床上存在争议且高度分化而难以治疗，但重症监护病房天然数据丰富。在我们的工作中，我们基于医疗领域的 RL 方法（“AI Clinicians”），并在部分可观测 MDP（POMDP）下利用历史重症监护数据学习用于脓毒症治疗的离屏连续给药策略。POMDP 通过纳入所有历史信息更好地捕捉患者状态的不确定性，从而产生高效的表示，我们通过消融实验对此进行了研究。我们通过以最佳优先树搜索评估每个遇到的状态，来弥补回顾性数据中探索的缺失。我们通过在临床医生复合策略附近优化我们的策略来缓解状态分布偏移。关键在于，我们不仅使用常规策略评估，还使用一种融合人类专家的新框架来评估我们的模型推荐：一种与模型无关的临床试验前评估方法，用于在面临相同个体患者病史时估计临床医生决策与我们的系统推荐相比的准确率和不确定性（“影子模式”）。