混沌、极端主义与乐观主义：博弈中学习的体积分析

我们对零和博弈与协调博弈中的乘法权重更新（MWU）与乐观乘法权重更新（OMWU）进行了体积分析。此类分析为这些博弈动力学系统提供了新见解，而这些见解似乎难以通过计算机科学与机器学习中的经典技术获得。第一步是在对偶空间（动作的聚合收益空间）而非原始空间（动作单纯形）中考察这些动力学。第二步是探究当一组初始条件依据算法向前推送时，其体积如何随时间演化。这让人联想到演化博弈论中的方法，其中复制子动力学作为 MWU 的连续时间类比，已知在所有博弈中始终保持体积。有趣的是，当我们考察离散时间动力学时，博弈的选择与算法的选择都起着关键作用。因此，尽管 MWU 在零和博弈中扩张体积从而是 Lyapunov 混沌的，我们证明 OMWU 收缩体积，为其已知的收敛行为提供了另一种理解。然而，我们也证明了一种无免费午餐类型的定理，即在考察协调博弈时角色反转：OMWU 以指数速度扩张体积，而 MWU 收缩。利用这些工具，我们证明了零和博弈中 MWU 的两个新颖且相当负面的性质：（1）极端主义：即使在具有唯一完全混合纳什均衡的博弈中，系统也会反复卡在纯策略剖面附近，尽管从博弈论角度看它们明显不稳定。（2）不可避免性：给定任意一组好点（由你自行解释“好”），系统无法无限期避开坏点。