面向具有非凸约束的不确定分段仿射系统的鲁棒动作 governor 与安全强化学习
系统与控制
2022-07-19 v1 人工智能
机器人学
系统与控制
摘要
动作 governor 是一种附加在标称控制回路上的方案，用于监控和调整控制动作以强制执行表示为逐时状态与控制约束的安全规范。在本文中，我们针对动力学可用具有参数和加性不确定性并受非凸约束的离散时间分段仿射（PWA）模型表示的系统，引入鲁棒动作 governor（RAG）。我们发展了 RAG 的理论性质与计算方法。此后，我们引入 RAG 以实现安全强化学习（RL），即确保在线 RL 探索与利用过程中所有时刻的约束满足。这一进展实现了控制策略的安全实时演化，并适应运行环境与系统参数（由于老化、损伤等）的变化。我们通过将 RAG 应用于质量-弹簧-阻尼器系统的软着陆问题，说明了 RAG 在约束强制执行与安全 RL 中的有效性。
引用
@article{arxiv.2207.08240,
title = {Robust Action Governor for Uncertain Piecewise Affine Systems with Non-convex Constraints and Safe Reinforcement Learning},
author = {Yutong Li and Nan Li and H. Eric Tseng and Anouck Girard and Dimitar Filev and Ilya Kolmanovsky},
journal= {arXiv preprint arXiv:2207.08240},
year = {2022}
}