面向真实世界应用的个性化麻醉：基于策略约束 Q 学习的丙泊酚输注控制

自动化麻醉有望实现更精确和个性化的麻醉给药，并将麻醉医生从重复性任务中解放出来，使其专注于患者手术护理中最关键的方面。当前研究通常集中于创建模拟环境以供智能体学习。这些方法已展现出良好的实验结果，但仍远未达临床应用。本文提出策略约束 Q 学习（PCQL），一种用于解决在真实临床数据集上学习麻醉策略问题的数据驱动强化学习算法。首先引入保守 Q 学习以缓解离线语境下 Q 函数高估问题。在智能体训练中加入了策略约束项，以保持智能体策略分布与麻醉医生一致，从而确保智能体在麻醉场景中做出更安全的决策。PCQL 的有效性通过在真实临床麻醉数据集上的大量实验得到验证。实验结果表明，与基线方法相比，PCQL 预计在保持与麻醉医生所给参考剂量良好一致的同时，使用更少的总剂量，且对患者生命体征响应更灵敏，从而获得更高收益。此外，研究了智能体的置信区间，其能够覆盖麻醉医生大多数的临床决策。最后，使用可解释方法 SHAP 分析模型预测的构成成分，以提升模型透明度。