机械通气治疗中的无分布不确定性量化：一种共形深度 Q 学习框架
机器学习
2024-12-18 v1
摘要
机械通气（MV）是重症监护病房（ICU）中关键的生命支持干预措施。然而，由于在平衡患者特定的生理需求与影响发病率、死亡率和医疗成本的不良结果风险方面存在复杂性，确定最佳呼吸机设置具有挑战性。本研究引入了 ConformalDQN，一种用于优化重症监护病房机械通气的无分布共形深度 Q 学习新方法。通过将共形预测与深度强化学习相结合，我们的方法提供了可靠的不确定性量化，解决了离线环境中 Q 值过高估计和分布外动作的挑战。我们使用 MIMIC-IV 数据库中的 ICU 患者记录训练并评估了我们的模型。ConformalDQN 通过共形预测器扩展了 Double DQN 架构，并采用了一个复合损失函数，该函数平衡了 Q 学习与校准良好的概率估计。这使得不确定性感知的动作选择成为可能，允许模型在不熟悉的状态下避免潜在有害的动作，并通过在分布外场景中更加保守来处理分布偏移。与基线模型（包括医生策略、策略约束方法和行为克隆）的评估对比表明，ConformalDQN 始终在临床安全和相关范围内提出建议，通过提高 90 天生存率优于其他方法。值得注意的是，我们的方法为其决策提供了可解释的置信度度量，这对于临床采用和潜在的人在回路实施至关重要。
引用
@article{arxiv.2412.12597,
title = {Distribution-Free Uncertainty Quantification in Mechanical Ventilation Treatment: A Conformal Deep Q-Learning Framework},
author = {Niloufar Eghbali and Tuka Alhanai and Mohammad M. Ghassemi},
journal= {arXiv preprint arXiv:2412.12597},
year = {2024}
}