安全的交互式基于模型学习

控制应用存在严格的运行约束。违反这些约束可能导致不安全行为。本文提出安全交互式基于模型学习（SiMBL），一种在真实环境中运行时 refinement 现有控制器与系统模型的框架。SiMBL 由以下可训练组件构成：确定安全集的 Lyapunov 函数、安全控制策略，以及贝叶斯 RNN 前向模型。基于交替最小化与通过前向模型反向传播的极小极大控制框架，用于控制器与安全集的离线计算。安全性通过一种概率方法事后形式化验证，该方法利用噪声对比先验（NPC）思想构建带有加性状态不确定性估计的贝叶斯 RNN 前向模型，该不确定性在训练数据分布之外较大。得益于一种新颖的损失函数，使新模型的不确定性估计以接近当前模型为条件，实现了模型与安全集的迭代精化。所学安全集与模型也可用于安全探索，即在安全不变集内收集数据，为此提出了一种简单的单步 MPC。各组件在有限力矩与稳定域的倒立摆仿真上进行了测试，表明迭代添加更多数据可改进模型、控制器与安全区域的大小。