TECM*：强化学习方法的数据驱动评估及其在外科脓毒症肝素治疗策略中的应用
机器学习
2025-12-15 v1
摘要
目的：脓毒症是一种由严重感染导致急性器官功能障碍的危及生命的疾病。本研究提出了一种数据驱动的指标和连续奖励函数，以优化外科脓毒症患者的个性化肝素治疗。方法：使用来自 MIMIC-IV v1.0 和 eICU v2.0 数据库的数据进行模型开发与评估。训练队列由术后脓毒症发作后接受普通肝素（UFH）的腹部手术患者组成。我们引入了一个新的基于强化学习（RL）的框架：首先，将离散的 SOFA 评分转换为连续的 cxSOFA，以实现更细致的状态和奖励函数；其次，通过逐步方式基于 cxSOFA 定义“好”或“坏”的策略；第三，提出治疗效应比较矩阵（TECM），类似于分类任务中的混淆矩阵，用于评估治疗策略。我们应用了不同的 RL 算法，包括 Q-Learning、DQN、DDQN、BCQ 和 CQL 来优化治疗，并全面评估了该框架。结果：在 AI 衍生的策略中，cxSOFA-CQL 模型取得了最佳性能，将死亡率从 1.83% 降至 0.74%，平均住院日从 11.11 天缩短至 9.42 天。TECM 在各模型间表现出一致的结果，凸显了其稳健性。结论：所提出的 RL 框架能够对外科脓毒症中的肝素治疗进行可解释且稳健的优化。连续的 cxSOFA 评分和基于 TECM 的评估提供了细致的治疗评估，有望改善临床结局和决策支持的可靠性。
引用
@article{arxiv.2512.10973,
title = {TECM*: A Data-Driven Assessment to Reinforcement Learning Methods and Application to Heparin Treatment Strategy for Surgical Sepsis},
author = {Jiang Liu and Yujie Li and Chan Zhou and Yihao Xie and Qilong Sun and Xin Shu and Peiwei Li and Chunyong Yang and Yiziting Zhu and Jiaqi Zhu and Yuwen Chen and Bo An and Hao Wu and Bin Yi},
journal= {arXiv preprint arXiv:2512.10973},
year = {2025}
}