面向闭环血糖控制的深度强化学习
机器学习
2020-09-22 v1 人工智能
机器学习
摘要
1型糖尿病患者（T1D）缺乏产生身体所需胰岛素的能力。因此，他们必须不断决定自行注射多少胰岛素以充分控制血糖水平。从可穿戴设备（如连续血糖监测仪）获取的纵向数据流可帮助这些人管理健康，但目前大部分决策负担仍由用户承担。为减轻这一负担，研究人员正在开发闭环解决方案，将连续血糖监测仪和胰岛素泵与控制算法结合于“人工胰腺”中。此类系统旨在估算并输送适量胰岛素。在此，我们开发用于自动化血糖控制的强化学习（RL）技术。通过一系列实验，我们比较了不同深度RL方法与非RL方法的性能。我们凸显了RL方法的灵活性，展示它们如何以极少额外数据适应新个体。在来自30名模拟患者的超过210万小时数据上，我们的RL方法优于基线控制算法：使中位血糖风险从8.34降至4.24（降低近50%），并使低血糖总时长从4610天降至6天（降低99.8%）。此外，这些方法能适应可预测的进餐时间（随着进餐可预测性增加，平均风险额外降低24%）。本工作展示了深度RL在无需专家知识情况下帮助T1D患者管理血糖水平的潜力。我们的所有代码均公开可用，便于复现与扩展。
引用
@article{arxiv.2009.09051,
title = {Deep Reinforcement Learning for Closed-Loop Blood Glucose Control},
author = {Ian Fox and Joyce Lee and Rodica Pop-Busui and Jenna Wiens},
journal= {arXiv preprint arXiv:2009.09051},
year = {2020}
}
备注
Accepted to MLHC 2020