败血症世界模型：基于MIMIC的OpenAI Gym败血症治疗“世界模型”模拟器
机器学习
2019-12-17 v1 机器学习
摘要
败血症是由机体对感染的反应引起的危及生命的状况。为治疗败血症患者，医师须基于急诊环境中大量变量控制各类抗生素、液体与血管活性药的 varying 剂量。本项目中我们采用“世界模型”方法创建模拟器，旨在给定当前状态与治疗动作下预测患者下一状态。借此，我们希望模拟器从EHR数据的潜变量且噪声更小的表示中学习。利用来自MIMIC数据集的历史败血症患者记录，我们的方法创建了一个OpenAI Gym模拟器，其利用变分自编码器与混合密度网络结合RNN(MDN-RNN)来建模医院中任一败血症患者的轨迹。为减小噪声影响，我们在模拟期间从生成的下一步分布中采样，并可通过控制“温度”变量向模拟器引入不确定性。值得注意的是，由于只能经由真实世界实验或专家反馈评估所学策略，我们无法获知最优策略的 ground truth。相反，我们旨在通过评估环境 rollout 与真实EHR数据的相似性，并借助Deep Q-Learning评估其用于学习现实败血症治疗策略的可行性，来研究模拟器模型的性能。
引用
@article{arxiv.1912.07127,
title = {Sepsis World Model: A MIMIC-based OpenAI Gym "World Model" Simulator for Sepsis Treatment},
author = {Amirhossein Kiani and Chris Wang and Angela Xu},
journal= {arXiv preprint arXiv:1912.07127},
year = {2019}
}
备注
This project was done as a class project for CS221 at Stanford University