用于 1 型糖尿病患者更安全血糖控制的离线强化学习
机器学习
2023-05-08 v2 人工智能
摘要
有效的混合闭环系统的广泛采用将代表 1 型糖尿病（T1D）患者护理的一个重要里程碑。这些设备通常利用简单的控制算法来选择最佳胰岛素剂量，以将血糖水平维持在健康范围内。在线强化学习（RL）已被用作进一步增强这些设备中血糖控制的方法。先前的方法已被证明，与经典控制算法相比，可以降低患者风险并增加在目标范围内的时间，但在学习过程中容易出现不稳定性，常常导致选择不安全的动作。这项工作提出了对离线 RL 的评估，用于开发有效的给药策略，而无需在训练期间进行潜在危险的患者交互。本文考察了 BCQ、CQL 和 TD3-BC 在管理 FDA 批准的 UVA/Padova 血糖动力学模拟器中 30 名虚拟患者血糖方面的效用。当使用不到在线 RL 实现稳定性能所需总训练样本的十分之一进行训练时，这项工作表明，与最强的现有基线相比，离线 RL 可以显著地将健康血糖范围内的时间从 61.6 +/- 0.3% 增加到 65.3 +/- 0.5%（p < 0.001）。这一成就是在不增加低血糖事件的情况下实现的。离线 RL 还被证明能够纠正常见且具有挑战性的控制场景，例如不正确的餐前大剂量给药、不规律的进餐时间和压缩误差。
引用
@article{arxiv.2204.03376,
title = {Offline Reinforcement Learning for Safer Blood Glucose Control in People with Type 1 Diabetes},
author = {Harry Emerson and Matthew Guy and Ryan McConville},
journal= {arXiv preprint arXiv:2204.03376},
year = {2023}
}
备注
The code for this work is available at https://github.com/hemerson1/offline-glucose