固定置信度下的最优最佳马尔可夫臂辨识

我们给出了一参数马尔可夫_bandit模型中最佳马尔可夫臂辨识采样复杂度的完整刻画。我们推导了实例相关的非渐近与渐近下界，推广了IID设定下的相应结果。我们分析了最初为IID设定提出的Track-and-Stop策略，并证明其在渐近意义上与下界至多相差一个因子四。我们的一参数马尔可夫_bandit模型基于随机矩阵指数族的概念，我们为其建立了许多有用性质。对于Track-and-Stop策略的分析，我们推导了一个新颖的马尔可夫链集中不等式，其本身可能具有独立的研究意义。