不完美信息扩展式博弈的近最优学习

本文解决了从赌博机反馈中学习不完美信息扩展式博弈的近最优算法设计的开放问题。我们提出首个仅需 $\widetilde{\mathcal{O}}((XA+YB)/\varepsilon^2)$ 次对局即可在两人零和博弈中找到 $\varepsilon$-近似纳什均衡的算法系列,其中 $X,Y$ 为信息集数目,$A,B$ 为两玩家的动作数目。这相比已知最优样本复杂度 $\widetilde{\mathcal{O}}((X^2A+Y^2B)/\varepsilon^2)$ 改进了 $\widetilde{\mathcal{O}}(\max\{X, Y\})$ 倍,且在对数因子内匹配信息论下界。我们通过两种新算法达到该样本复杂度:平衡在线镜像下降与平衡反事实遗憾最小化。两种算法均依赖于将\emph{平衡探索策略}整合进其经典对应物的新方法。我们还将结果扩展至多人一般和博弈中粗相关均衡的学习。