自回归外生系统中的有限时间系统辨识与自适应控制

自回归外生（ARX）系统是用于对随机线性动力系统（LDS）建模的输入-输出动力系统的通用类别，包括诸如 LQG 系统等部分可观测的 LDS。本工作中，我们研究未知 ARX 系统的系统辨识与自适应控制问题。我们针对开环与闭环数据收集两种情形，给出了 ARX 系统的有限时间学习保证。利用这些保证，我们针对具有任意强凸或凸二次调节代价的未知 ARX 系统设计自适应控制算法。在强凸代价函数下，我们设计了一种基于在线梯度下降的自适应控制算法，以设计并更新通过凸控制器重参数化构造的控制器。我们表明，通过探索并提交（explore and commit）方法，我们的算法具有 $\tilde{\mathcal{O}}(\sqrt{T})$ 后悔界；若利用闭环数据收集按周期更新模型估计，则在 $T$ 步交互后达到 $\text{polylog}(T)$ 的最优后悔。对于凸二次代价函数情形，我们提出了一种采用面对不确定性乐观原则（optimism in the face of uncertainty）设计控制器的自适应控制算法。在此设定下，我们表明探索并提交方法的后悔上界为 $\tilde{\mathcal{O}}(T^{2/3})$，而带有连续模型估计更新的自适应控制在 $T$ 步后达到 $\tilde{\mathcal{O}}(\sqrt{T})$ 后悔。