广泛式博弈粗相关均衡的高效去中心化学习动态：无需昂贵计算平稳分布

虽然在双人零和博弈中纳什均衡是公认的最优博弈的规范性概念，但其作为规范性工具在該设定之外的适用性有限。因此，研究在多人、一般和广泛式（即树形）博弈中保证收敛到相关解概念的学习动态已成为一个重要的活跃研究课题。目前已知学习动态的每次迭代复杂度取决于所考虑的具体相关解概念。例如，在广泛式相关均衡（EFCE）的情形下，所有已知动态都需要在每次迭代时将计算多个马尔可夫链的平稳分布作为中间步骤，这在实际中是一项昂贵的操作。相反，在标准形式粗相关均衡（NFCCE）的情形下，简单的无外部遗憾学习动态——等价于对每个智能体的树形决策空间进行线性时间遍历——就足以保证收敛。本文关注广泛式粗相关均衡（EFCCE），这是一个介于 NFCCE 子集与 EFCE 超集之间的中间解概念。作为 EFCE 的超集，任何针对 EFCE 的学习动态自动保证收敛到 EFCCE。然而，由于 EFCCE 是更简单的解概念，这就引出一个问题：是否存在避免昂贵平稳分布计算的 EFCCE 学习动态？本文对前述问题给出肯定回答。我们的学习动态仅需编排无外部遗憾最小化器，从而表明从学习视角看 EFCCE 更类似于 NFCCE 而非 EFCE。我们的动态保证经过 $T$ 次迭代后的经验博弈频率以高概率为 $O(1/\sqrt{T})$-近似 EFCCE，并且在极限下几乎必然为 EFCCE。