带加性探索的基于学习的线性二次高斯控制的后悔分析
系统与控制
2023-11-27 v2 机器学习
系统与控制
摘要
在本文中，我们分析了在线性二次高斯（LQG）框架下控制未知部分可观测系统的一种计算高效的探索策略（称为朴素探索）所产生的后悔值。我们引入了一种称为 LQG-NAIVE 的两阶段控制算法，其第一阶段注入高斯输入信号以获得系统模型，第二阶段以情景式方式在朴素探索与控制之间交替。我们证明 LQG-NAIVE 在 T 个时间步后实现了 的后悔增长率，即忽略对数因子的 ，并通过数值仿真验证了其性能。此外，我们提出了 LQG-IF2E，它通过将 Fisher 信息矩阵（FIM）纳入其中，将探索信号扩展到“闭环”设置。我们提供了 LQG-IF2E 相对于 LQG-NAIVE 具有竞争性能的有力数值证据。
引用
@article{arxiv.2311.02679,
title = {Regret Analysis of Learning-Based Linear Quadratic Gaussian Control with Additive Exploration},
author = {Archith Athrey and Othmane Mazhar and Meichen Guo and Bart De Schutter and Shengling Shi},
journal= {arXiv preprint arXiv:2311.02679},
year = {2023}
}