基于数据集的样本高效 LQ 控制方法用于线性时变系统

本文提出了一种针对线性时变 (LTV) 系统的有限时域线性二次 (LQ) 控制的数据驱动、样本高效框架。与时不变情况不同，时变 LQ 问题涉及参数随时间变化且具有终端边界约束的微分型 Riccati 方程 (DRE)。我们将 LQ 问题形式化为非凸优化问题，并对其对偶结构进行严格分析。通过利用对偶问题的内在凸性并分析 KKT 条件，推导出时变情况下最优对偶解与相关 Q 函数参数之间的显式关系。该理论洞察支持开发一种新型、样本高效的、非迭代的半正定规划 (SDP) 算法，直接从多个输入-状态数据序列中计算最优反馈增益序列，而无需模型识别。 resulting 的凸、数据依赖的框架为完全未知的 LTV 系统提供了全局最优性保证。作为特殊情况，该方法也适用于线性时不变 (LTI) 系统的有限时域 LQ 控制。在该设置下，仅需一个输入-状态轨迹即可识别最优 LQ 反馈策略，显著优于通常需要多个回合数据才能实现的现有 Q 学习方法。该方法为时变环境中的 Q 学习提供了新的优化视角，并促进了对非平稳环境下数据驱动控制的更广泛理解。仿真结果表明，与最近的方法相比，所提方法在 LTV 系统上在最优性和样本效率方面表现出优势，并显示出稳定和非线性系统最优控制的潜力。