利用强化学习简化1型糖尿病患者餐时胰岛素 dosing：基于仿真实验的研究

1型糖尿病患者（T1D）难以计算餐时最佳胰岛素剂量，尤其是在多次每日注射（MDI）治疗下。实际上，他们并非总是进行严格精确的计算，而是偶尔依赖直觉与既往经验。强化学习（RL）在需要直觉及从经验中学习的任务上已展现出超越人类的出色表现。本工作中，我们提出一种 RL 智能体，其针对无需精确碳水计数（CC）的定性进餐（QM）策略（例如中午一顿常规餐）推荐最佳餐伴胰岛素剂量。该智能体采用软 actor-critic 方法训练，并由长短期记忆（LSTM）神经元构成。训练中，使用 FDA 认可的 UVA/Padova T1D 成人群体中的八十个虚拟受试者（VS），基于 MDI 疗法与 QM 策略进行仿真。验证时，其余二十个 VS 在包含葡萄糖日内与日间变异的 26 周场景中接受检验。仿真（in-silico）结果显示，所提 RL 方法优于基线 run-to-run 方法，并可替代标准 CC 方法。具体而言，26 周后，采用 RL 优化的 QM 策略时血糖达标时间（$70-180$mg/dL）与低血糖时间（$<70$mg/dL）分别为 $73.1\pm11.6$% 与 $2.0\pm 1.8$%，而采用 CC 时分别为 $70.6\pm14.8$% 与 $1.5\pm 1.5$%。该方法可简化糖尿病治疗，从而改善生活质量与血糖结局。