扩展式博弈平滑方法的理论与实用进展

稀疏迭代方法，尤其是一阶方法，被认为是求解大规模双人零和扩展式博弈的最有效方法之一。这些方法的收敛速率在很大程度上取决于其所基于的距离生成函数的性质。我们通过更好地设计扩张熵函数（一类与扩展式博弈相关域相关联的距离生成函数），研究加速求解扩展式博弈的一阶方法。通过为扩张熵函数引入一种新的加权方案，我们开发了首个用于序贯博弈策略空间的距离生成函数，该函数不依赖于玩家的分支因子。该结果将若干一阶方法的收敛速率提升了 $\Omega(b^dd)$ 倍，其中 $b$ 为玩家的分支因子，$d$ 为博弈树的深度。迄今为止，尽管反事实遗憾最小化方法在理论上的收敛速率较差，但在实践中比一阶方法更快且更流行。利用我们的新加权方案和实际调优，我们首次表明，在实践中过度间隙技术可以比最快的反事实遗憾最小化算法 CFR+ 更快。