带_bandit反馈的双人零和马尔可夫博弈中的无耦合收敛学习

我们重新审视双人零和马尔可夫博弈中的学习问题，致力于开发一种无耦合、收敛且理性的算法，并具有非渐近收敛速率。作为热身，我们从无状态矩阵博弈在 bandit 反馈下的情形入手，展示了 $O(t^{-\frac{1}{8}})$ 的末次迭代收敛速率。据我们所知，这是首个在仅能获取 bandit 反馈条件下获得有限末次迭代收敛速率的结果。我们将结果推广到不可约马尔可夫博弈的情形，给出了对任意 $\varepsilon>0$ 均为 $O(t^{-\frac{1}{9+\varepsilon}})$ 的末次迭代收敛速率。最后，我们研究对动态无任何假设的马尔可夫博弈，并展示了一种路径收敛速率——这是我们定义的一种新收敛概念——为 $O(t^{-\frac{1}{10}})$。我们的算法去除了 [Wei et al., 2021] 的协调与先验知识要求，该文献针对不可约马尔可夫博弈追求与我们相同的目标。我们的算法与 [Chen et al., 2021, Cen et al., 2021] 相关，并同样建立在熵正则化技术之上。然而，我们去除了它们对熵值通信的要求，使我们的算法完全无耦合。