不确定非线性系统的数据驱动鲁棒强化学习控制：迈向全自动胰岛素人工胰腺
系统与控制
2023-12-08 v1 系统与控制
摘要
本文针对一类受未知有界不确定性影响的通用离散时间非线性系统，提出了一种新颖的鲁棒跟踪控制方案。通过求解一个以未知标称系统和合适的代价函数为约束的参数化最优跟踪控制问题，所得的最优跟踪控制策略能够通过为原始不确定非线性系统实现足够小的跟踪误差来确保闭环稳定性。最优跟踪控制器的计算通过推导一种新颖的基于Q函数的λ-策略迭代算法完成。所提算法不仅享有严格的理论保证，还避免了传统强化学习方法的技术弱点。通过采用数据驱动的、仅评论家的最小二乘实现，所提算法的性能在针对诊断为1型和2型糖尿病患者的全自动、基于胰岛素的闭环血糖控制问题上进行了评估。我们使用Epsilon Group开发的、获美国FDA认可的DMMS.R模拟器，在完全未预先告知的进餐和运动设置下，对丰富的虚拟受试者群体进行了全面的计算机临床实验。仿真结果突显了所推导方法实现的优越血糖行为，以及其在设计用于个性化医疗的高效闭环药物输送系统方面的整体成熟度。
引用
@article{arxiv.2312.04503,
title = {Data-Driven Robust Reinforcement Learning Control of Uncertain Nonlinear Systems: Towards a Fully-Automated, Insulin-Based Artificial Pancreas},
author = {Alexandros Tanzanakis and John Lygeros},
journal= {arXiv preprint arXiv:2312.04503},
year = {2023}
}