基于积分强化学习的非线性仿射系统最优调节——基于状态依赖 Riccati 方程方法
系统与控制
2025-12-30 v1 系统与控制
摘要
状态依赖 Riccati 方程（SDRE）技术将经典代数 Riccati 公式推广到非线性系统，通过设计输入来最优（次优）调节系统状态以趋近原点，同时优化二次性能指标。在 SDRE 技术中，我们求解状态依赖 Riccati 方程以确定调节非线性仿射系统的控制输入。由于代数 Riccati 方程（ARE）的解析解不容易求解，一种方法是在每个状态处线性化系统，求解相应的代数 Riccati 方程，并在下一状态到达前应用最优控制。以高频率完成此任务的结果类似于原始 SDRE 技术。两种方法都需要完整的模型；因此，本文提出一种方法，在系统每个状态处求解 ARE 采用部分无模型的方法基于积分强化学习（IRL）在系统每个状态学习最优控制，而无需明确知道漂移动力学。为展示所提出方法的有效性，我们将其应用于仿真中的二阶非线性系统，并与依赖系统模型并在每个状态求解 ARE 的经典 SDRE 方法进行比较。我们的仿真结果表明，经过充分的迭代，IRL 基于的方法在性能上大致等同于传统 SDRE 方法，表明其作为一种不要求明确环境模型的非线性系统控制可靠替代方案的能力。
引用
@article{arxiv.2512.22668,
title = {Optimal Regulation of Nonlinear Input-Affine Systems via an Integral Reinforcement Learning-Based State-Dependent Riccati Equation Approach},
author = {Arya Rashidinejad Meibodi and Mahbod Gholamali Sinaki and Khalil Alipour},
journal= {arXiv preprint arXiv:2512.22668},
year = {2025}
}
备注
Presented at the 13th RSI International Conference on Robotics and Mechatronics (ICRoM 2025), Dec. 16-18, 2025, Tehran, Iran