medDreamer：基于复杂电子健康记录的潜在想象模型强化学习用于临床决策支持
机器学习
2025-12-03 v3 人工智能
摘要
及时且个性化的治疗决策在患者反应可能显著变化并随时间演变的各类医疗环境中至关重要。用于支持这些治疗决策的临床数据通常采样不规则，其中缺失数据的频率可能隐含地传达患者状况的信息。现有的基于强化学习（RL）的临床决策支持系统通常忽略这些缺失模式，并通过粗略离散化和简单插补来扭曲它们。它们也主要是无模型的，并且很大程度上依赖于回顾性数据，这可能导致探索不足和历史行为偏差。为了解决这些局限性，我们提出了medDreamer，一个用于个性化治疗推荐的新型基于模型的强化学习框架。medDreamer包含一个世界模型，该模型具有自适应特征集成模块，可从非规则数据中模拟潜在的患者状态，以及一个在真实和想象轨迹的混合数据上训练的两阶段策略。这使得学习能够超越历史临床决策次优性的最优策略，同时保持接近真实临床数据。我们在脓毒症和机械通气治疗任务上，使用两个大规模电子健康记录（EHR）数据集评估了medDreamer。综合评估表明，medDreamer在临床结果和离策略指标上均显著优于无模型和基于模型的基线方法。
引用
@article{arxiv.2505.19785,
title = {medDreamer: Model-Based Reinforcement Learning with Latent Imagination on Complex EHRs for Clinical Decision Support},
author = {Qianyi Xu and Gousia Habib and Feng Wu and Dilruk Perera and Mengling Feng},
journal= {arXiv preprint arXiv:2505.19785},
year = {2025}
}