线性二次型调节器无导数方法的鲁棒性
最优化与控制
2025-06-17 v1
摘要
策略优化在强化学习中引起了越来越多的关注，特别是在具有未知动力学的线性二次型调节器（LQR）问题的无导数方法背景下。本文聚焦于刻画求解无限时域LQR问题的无导数方法的鲁棒性。具体而言，我们通过代价值估计策略梯度，并研究扰动对估计的影响，其中扰动可能来自函数逼近、测量噪声等。我们证明，在扰动充分小的情况下，无导数方法收敛到任意预先指定的最优策略邻域。此外，我们建立了扰动的显式界，并为受扰动的无导数方法提供了样本复杂度。
引用
@article{arxiv.2506.12596,
title = {On the Robustness of Derivative-free Methods for Linear Quadratic Regulator},
author = {Weijian Li and Panagiotis Kounatidis and Zhong-Ping Jiang and Andreas A. Malikopoulos},
journal= {arXiv preprint arXiv:2506.12596},
year = {2025}
}