马尔可夫跳变系统的辨识与自适应控制：样本复杂度与后悔界

Yahya Sattar; Zhe Du; Davoud Ataee Tarzanagh; Laura Balzano; Necmiye Ozay; Samet Oymak

马尔可夫跳变系统的辨识与自适应控制：样本复杂度与后悔界

机器学习 2025-10-21 v2 系统与控制系统与控制最优化与控制机器学习

作者: Yahya Sattar , Zhe Du , Davoud Ataee Tarzanagh , Laura Balzano , Necmiye Ozay , Samet Oymak

摘要

学习如何有效控制未知动态系统对智能自主系统至关重要。当底层动态随时间变化时，该任务成为一项重大挑战。受此挑战驱动，本文考虑控制未知马尔可夫跳变线性系统（MJS）以优化二次型目标的问题。从基于模型的角度出发，我们研究基于辨识的 MJS 自适应控制。首先，我们给出一种 MJS 系统辨识算法，从系统状态、输入与模式的单一轨迹中学习各模式下的动态以及刻画模式切换演化的马尔可夫转移矩阵。通过基于鞅的论证，该算法的样本复杂度被证明为 $\mathcal{O}(1/\sqrt{T})$ 。随后，我们提出一种自适应控制方案，将系统辨识与等价确定性控制结合，以分段方式调整控制器。将我们的样本复杂度结果与近期关于等价确定性控制的扰动结果相结合，我们证明当分段长度选取恰当时，所提自适应控制方案达到 $\mathcal{O}(\sqrt{T})$ 后悔，且在具备系统部分知识时可改进至 $\mathcal{O}(polylog(T))$ 。我们的证明策略引入了新方法来处理马尔可夫跳变以及 MJS 中常见的较弱稳定性概念。我们的分析揭示了影响学习精度与控制性能的系统理论量。数值仿真进一步印证了这些见解。

关键词

马尔可夫跳变线性系统系统辨识自适应控制样本复杂度后悔界等价确定性控制二次型目标

引用

@article{arxiv.2111.07018,
  title  = {Identification and Adaptive Control of Markov Jump Systems: Sample Complexity and Regret Bounds},
  author = {Yahya Sattar and Zhe Du and Davoud Ataee Tarzanagh and Laura Balzano and Necmiye Ozay and Samet Oymak},
  journal= {arXiv preprint arXiv:2111.07018},
  year   = {2025}
}

备注

Improved results using Martingale-based arguments

马尔可夫跳变系统的辨识与自适应控制：样本复杂度与后悔界

摘要

关键词

引用

备注

相关论文