通过低维线性模型的系统辨识桥接基于模型的安全性与无模型强化学习
机器人学
2022-05-13 v1 人工智能
机器学习
系统与控制
系统与控制
摘要
将基于模型的安全性与面向动态机器人的无模型强化学习（RL）相结合颇具吸引力，因为基于模型的方法能够提供形式化安全保证，而基于 RL 的方法可通过从全阶系统动力学中学习来发挥机器人的敏捷性。然而，当前解决该问题的方法大多局限于简单系统。本文中，我们提出一种新方法，通过显式寻找由 RL 策略控制的系统的低维模型，并对该简单模型施加稳定性与安全性保证，从而将基于模型的安全性与无模型强化学习结合。我们以复杂双足机器人 Cassie（一个具有混合动力学与欠驱动的高维非线性系统）及其基于 RL 的行走控制器为例。我们表明低维动力学模型足以刻画闭环系统的动力学。我们证明该模型是线性的、渐近稳定的，且在各维度上关于控制输入解耦。我们进一步例证，即便使用不同的 RL 控制策略，此种线性依然存在。这些结果指出了一个理解 RL 与最优控制关系的有趣方向：在某些情形下，RL 是否在训练中倾向于线性化非线性系统。此外，我们以 Cassie 自主导航为例，说明所发现的线性模型能够通过安全关键最优控制框架（如带控制屏障函数的模型预测控制）提供保证，同时利用基于 RL 的控制器所提供的敏捷性。
引用
@article{arxiv.2205.05787,
title = {Bridging Model-based Safety and Model-free Reinforcement Learning through System Identification of Low Dimensional Linear Models},
author = {Zhongyu Li and Jun Zeng and Akshay Thirugnanam and Koushil Sreenath},
journal= {arXiv preprint arXiv:2205.05787},
year = {2022}
}
备注
Accepted in Proceedings of Robotics: Science and Systems 2022 (RSS 2022)