高相对度系统的学习增强安全控制：扰动与故障下的鲁棒优化

仅追求性能可能会对安全性产生不利影响，而保守的安全探索策略则会降低性能。如何在基于学习的控制问题中平衡安全性与性能是一个有趣但具有挑战性的问题。本文旨在解决具有高相对度状态约束和未知时变扰动/执行器故障的非线性系统的强化学习最优控制问题，同时增强系统性能并保证安全性。首先，为了将控制障碍函数与强化学习结合，提出了一种新型控制障碍函数——高阶倒数控制障碍函数，用于处理学习过程中的高相对度约束。然后，提出了梯度相似度的概念，以量化安全梯度与性能梯度之间的关系。最后，在安全强化学习框架中引入了梯度操纵和自适应机制，以在保证安全性的同时提升性能。两个仿真示例表明，所提出的安全强化学习框架能够处理高相对度约束，增强安全鲁棒性并改善系统性能。