基于深度强化学习的1型糖尿病基础葡萄糖控制：一项计算机仿真验证
信号处理
2020-09-08 v1 机器学习
定量方法
摘要
1型糖尿病(T1D)患者需定期外源输注胰岛素，以维持血糖浓度在治疗适宜的目标范围内。尽管人工胰腺与连续葡萄糖监测已被证明在闭环控制中有效，但由于葡萄糖动力学的高复杂性及技术局限，重大挑战依然存在。本工作中，我们提出一种用于单激素（胰岛素）与双激素（胰岛素与胰高血糖素）输注的新型深度强化学习模型。具体而言，输注策略通过带膨胀循环神经网络的双重Q学习(double Q-learning)开发。为设计与测试目的，采用了FDA认可的UVA/Padova 1型模拟器。首先，我们进行长期泛化训练以获得群体模型。随后，利用少量受试者特异性数据对该模型进行个性化。计算机仿真结果表明，与具有低血糖胰岛素暂停的标准基础-大剂量疗法相比，单激素与双激素输注策略实现了良好的血糖控制。具体而言，在成人队列(n=10)中，目标范围[70, 180] mg/dL内的时间占比从77.6%提升至单激素控制的80.9%，以及双激素控制的。在青少年队列(n=10)中，目标范围内时间占比从55.5%提升至单激素控制的65.9%，以及双激素控制的78.8%。所有场景中均观察到低血糖显著减少。这些结果表明，使用深度强化学习是T1D闭环葡萄糖控制的可行方法。
引用
@article{arxiv.2005.09059,
title = {Basal Glucose Control in Type 1 Diabetes using Deep Reinforcement Learning: An In Silico Validation},
author = {Taiyu Zhu and Kezhi Li and Pau Herrero and Pantelis Georgiou},
journal= {arXiv preprint arXiv:2005.09059},
year = {2020}
}