学习具有到达-避免保证的随机系统控制策略

我们研究为具有形式化到达-避免保证的离散时间非线性随机动力系统学习控制器的问题。本工作提出了第一种在无限时间范围内以可容忍概率阈值 $p\in[0,1]$ 提供形式化到达-避免保证的方法，该方法结合并推广了稳定性和安全性保证。我们的方法利用了机器学习文献中的进展，并将形式化证书表示为神经网络。具体而言，我们以到达-避免超鞅（RASM）的形式学习一个证书，这是我们在本工作中引入的一个新概念。我们的 RASMs通过对确定性系统的 Lyapunov 函数水平集的随机扩展施加约束，提供可达性和避免保证。我们的方法解决了几个重要问题——它可用于从头学习控制策略，验证固定控制策略的到达-避免规范，或者在预训练策略不满足到达-避免规范时对其进行微调。我们在 $3$ 个随机非线性强化学习任务上验证了我们的方法。