KCRL：在非线性动力系统中具有稳定性保证的克拉索夫斯基约束强化学习
机器学习
2022-06-06 v1 系统与控制
系统与控制
最优化与控制
机器学习
摘要
学习一个动力系统需要稳定未知动态以避免状态发散。然而，当前的强化学习（RL）方法缺乏稳定性保证，这限制了它们在安全关键系统控制中的适用性。我们提出了一种具有形式化稳定性保证的基于模型的RL框架——克拉索夫斯基约束RL（KCRL），该框架采用克拉索夫斯基李雅普诺夫函数族作为稳定性约束。所提方法利用特征表示（例如随机傅里叶特征）在置信区间内学习系统动态，随后使用原始对偶方法求解基于克拉索夫斯基方法的带稳定性约束的策略优化问题，以恢复稳定策略。我们证明KCRL能在与底层未知系统有限次交互内保证学到稳定策略，并推导了通过KCRL框架稳定未知非线性动力系统的样本复杂度上界。
引用
@article{arxiv.2206.01704,
title = {KCRL: Krasovskii-Constrained Reinforcement Learning with Guaranteed Stability in Nonlinear Dynamical Systems},
author = {Sahin Lale and Yuanyuan Shi and Guannan Qu and Kamyar Azizzadenesheli and Adam Wierman and Anima Anandkumar},
journal= {arXiv preprint arXiv:2206.01704},
year = {2022}
}