基于图的离线强化学习用于败血症治疗探索
机器学习
2025-09-04 v1
摘要
败血症是一种危及生命的严重疾病。在治疗败血症时，确定给定患者所需的静脉液体和血管紧张素的正确剂量具有挑战性。虽然已用于支持这些决策的自动化强化学习（RL）方法取得了令人鼓舞的成果，但以往研究依赖于关系数据。鉴于现代医疗数据的复杂性，将数据表示为图可能提供更自然且有效的方法。本研究将来自著名MIMIC-III数据集的患者数据建模为随时间演化的异构图。随后，我们探索了两种图神经网络架构——GraphSAGE和GATv2——用于学习患者状态表示，采用将表示学习与策略学习分离的方法。编码器被训练以产生潜在状态表示，同时配合解码器预测下一个患者状态。这些表示随后用于dBCQ算法进行策略学习。我们的实验结果确认了基于图的方法的潜力，同时突显了该领域表示学习的复杂性。
关键词
引用
@article{arxiv.2509.03393,
title = {Exploring a Graph-based Approach to Offline Reinforcement Learning for Sepsis Treatment},
author = {Taisiya Khakharova and Lucas Sakizloglou and Leen Lambers},
journal= {arXiv preprint arXiv:2509.03393},
year = {2025}
}
备注
18th European Workshop on Reinforcement Learning (EWRL 2025)