未知 B 矩阵自适应 LQR 中无信息最优策略研究
最优化与控制
2021-05-03 v3 机器学习
机器学习
摘要
本文给出了自适应线性二次调节器（LQR）的局部渐近极大极小后悔下界。我们考虑仿射参数化的 矩阵与已知的 矩阵，旨在理解即便存在结构性侧信息，何时对数后悔仍不可能。在依据费雪信息的奇异性条件定义了无信息最优策略这一内在概念后，我们通过援引 van Trees 不等式（贝叶斯 Cramér-Rao 界）以及以二次型（贝尔曼误差）表示的后悔，得到了此类无信息 LQR 实例的局部极大极小后悔下界。结果表明，若参数化诱导出无信息最优策略，则对数后悔不可能实现，且速率至少与时间 horizon 的平方根同阶。我们依据系统理论量的零空间与具体实例参数化，显式刻画了无信息最优策略这一概念。
引用
@article{arxiv.2011.09288,
title = {On Uninformative Optimal Policies in Adaptive LQR with Unknown B-Matrix},
author = {Ingvar Ziemann and Henrik Sandberg},
journal= {arXiv preprint arXiv:2011.09288},
year = {2021}
}