线性约束在线 LQG 问题中子流形上策略优化的遗憾分析
最优化与控制
2025-07-15 v2 机器学习
系统与控制
系统与控制
摘要
在线优化与控制的最新进展为研究在线线性二次型调节器（LQR）问题提供了新颖的工具，其中成本矩阵是时变的且事先未知。在这项工作中，我们研究在具有线性约束（以施加诸如稀疏性等物理条件）的稳定控制器构成的流形上的在线线性二次型高斯（LQG）问题。通过采用黎曼几何的视角，我们提出了在线牛顿流形（ONM）算法，该算法基于成本函数序列的二阶信息实时生成在线控制器。为了量化算法性能，我们使用遗憾的概念，其定义为算法累积成本相对于（局部）最小化控制器序列的次优性。我们根据基准最小化序列的路径长度建立了一个遗憾界，并通过仿真进一步验证了 ONM 的有效性。
引用
@article{arxiv.2403.08553,
title = {Regret Analysis of Policy Optimization over Submanifolds for Linearly Constrained Online LQG},
author = {Ting-Jui Chang and Shahin Shahrampour},
journal= {arXiv preprint arXiv:2403.08553},
year = {2025}
}