速率受限信道下线性二次型调节器的无模型学习
最优化与控制
2024-09-20 v3 机器学习
系统与控制
系统与控制
摘要
考虑一个使用策略梯度方法以无模型方式求解的线性二次型调节器（LQR）问题。如果二次型成本的梯度通过一个速率受限的信道传输，那么所得控制器的收敛性和收敛速率都可能受到信道允许的比特率的影响。我们首先将这个问题置于通信受限的优化框架中，并提出一种新的自适应量化算法，称为自适应量化梯度下降（AQGD）。该算法保证以指数速度收敛到全局最优策略，并且在通信信道允许的某个有限阈值比特率以上，相对于未量化设置，指数收敛速率没有恶化。然后，我们提出了 AQGD 的一个变体，该变体在应用于求解无模型 LQR 问题时提供了类似的性能保证。我们的方法揭示了自适应量化在保持快速线性收敛速率方面的优势，因此，可能对压缩优化领域的文献具有独立的意义。我们的工作也标志着向无模型控制设计与网络控制系统这两个领域之间更广泛的桥梁迈出了第一步。
引用
@article{arxiv.2401.01258,
title = {Model-Free Learning for the Linear Quadratic Regulator over Rate-Limited Channels},
author = {Lintao Ye and Aritra Mitra and Vijay Gupta},
journal= {arXiv preprint arXiv:2401.01258},
year = {2024}
}
备注
37 pages, 3 figures. Compared to the previous version, we extend the general AQGD algorithm to handle noisy gradients and prove its convergence. In addition, we apply the algorithm to solve model-free LQR with communication constraints and provide finite sample analysis regarding the convergence of the algorithm