基于强化学习的非线性系统控制：采用 Carleman 逼近的结构化与非结构化设计

我们针对输入仿射非线性系统开发了数据驱动的强化学习（RL）控制设计。我们利用 Carleman 线性化在 Carleman 空间中表达非线性动力学模型的状态空间表示，并开发了一种实时算法，可使用无限维 Carleman 空间中的状态和输入测量来学习非线性状态反馈控制器。此后，我们研究了控制信号有限阶截断的实用性，并随之进行了其闭环稳定性分析。最后，我们开发了另外两种设计，可学习基于 RL 的非线性控制器的结构化以及稀疏表示，并给出了确保其闭环稳定性的理论条件。我们给出了数值例子以展示我们所提方法生成的闭环响应接近于非线性对象的最优性能。我们还将我们的设计与其他数据驱动的非线性 RL 控制方法（例如基于神经网络的方法）进行比较，并说明了它们的相对优势与不足。