通过运行时监控实现神经控制与证书修复

基于学习的方法为解决经典控制方法通常难以处理的高度非线性控制任务提供了一种有前景的途径。为确保满足安全属性，基于学习的方法联合学习控制策略以及该属性的证书函数。流行的例子包括用于安全的屏障函数和用于渐近稳定性的李雅普诺夫函数。尽管在证书函数正确性可被形式验证的白盒设置中，基于学习的控制与证书函数取得了显著进展，但在系统动力学未知的黑盒设置中，确保其可靠性的工作却很少。在这项工作中，我们考虑了黑盒设置中神经网络控制策略和证书函数的验证与修复问题。我们提出了一种新颖框架，利用运行时监控来检测在初始训练的神经网络策略和证书下违反感兴趣属性的系统行为。这些违反行为用于提取新的训练数据，进而重新训练神经网络策略和证书函数，并最终修复它们。我们通过使用该方法修复并提升由最先进的基于学习控制方法在两个自主系统控制任务上学到的神经网络策略的安全率，实证证明了我们方法的有效性。