基于集成深度强化学习的人工胰腺混合控制策略
人工智能
2023-07-17 v2 机器学习
摘要
目的：人工胰腺（AP）在针对 1 型糖尿病（T1DM）个体的闭环血糖控制中已显示出良好潜力。然而，由于复杂的生理过程、延迟的胰岛素反应和不准确的葡萄糖测量，为 AP 设计有效的控制策略仍然具有挑战性。虽然模型预测控制（MPC）通过动态模型和安全约束提供了安全性和稳定性，但其缺乏个体化且易受未宣告进餐的影响。相反，深度强化学习（DRL）提供个性化和自适应策略，但面临分布偏移和大量数据需求的挑战。方法：我们提出一种用于人工胰腺的混合控制策略（HyCPAP）以应对上述挑战。HyCPAP 将 MPC 策略与集成 DRL 策略相结合，利用两种策略的优势同时弥补各自的局限。为促进 AP 系统在真实环境中的更快速部署，我们进一步将元学习技术引入 HyCPAP，利用既往经验和患者共享知识实现对数据有限的新患者的快速适应。结果：我们使用 FDA 认可的 UVA/Padova T1DM 模拟器在三种场景下进行了大量实验。我们的方法实现了最高的目标血糖正常范围内时间占比以及最低的低血糖发生率。结论：结果清晰展示了我们的方法在 T1DM 个体闭环血糖管理中的优越性。意义：本研究提出了新颖的 AP 系统控制策略，证实了所提方法在高效闭环血糖控制方面的巨大潜力。
引用
@article{arxiv.2307.06501,
title = {Hybrid Control Policy for Artificial Pancreas via Ensemble Deep Reinforcement Learning},
author = {Wenzhou Lv and Tianyu Wu and Luolin Xiong and Liang Wu and Jian Zhou and Yang Tang and Feng Qian},
journal= {arXiv preprint arXiv:2307.06501},
year = {2023}
}
备注
12 pages