Hedge-短视系统中的周期性及两人零和博弈的非对称纳什均衡求解范式

本文考虑了 $n \times n$ 两人零和重复博弈，其中一方（玩家 X）采用流行的 Hedge（也称为乘性权重更新）学习算法，而另一方（玩家 Y）采用短视最佳响应。我们通过定义度量 $Q(\textbf{x}_t)$ 来研究此类 Hedge-短视系统的动力学，该度量衡量阶段策略 $\textbf{x}_t$ 与玩家 X 的纳什均衡 (NE) 策略之间的距离。我们分析了 $Q(\textbf{x}_t)$ 的趋势，并证明当收益矩阵为有理数且博弈存在内部 NE 时，它是有界的，并且在演化路径上只能取有限个值。基于此，我们证明了双方的阶段策略序列在有限阶段后是周期的，且玩家 Y 在一个周期内的时间平均策略是一个精确的 NE 策略。据此，我们提出了一种求解两人零和博弈的非对称范式。对于具有有理收益矩阵和内部 NE 的特殊博弈，该范式可以输出精确的 NE 策略；对于任何一般博弈，我们证明了时间平均策略可以收敛到近似 NE。与通过 Hedge 自博弈求解 NE 的方法相比，这种 HBR 范式表现出更快的计算/收敛速度、更好的稳定性，并且在大多数实际情况下可以实现精确的 NE 收敛。