中文

多智能体学习中的Poincaré-Bendixson极限集

计算机科学与博弈论 2022-02-09 v2 多智能体系统

摘要

演化博弈论与多智能体学习的一个关键挑战是刻画博弈动力学的极限行为。尽管收敛常是满足特定奖励结构(例如零和博弈)的博弈中学习算法的性质,但即便是基本学习模型,如复制动力学,对于一般收益也不保证收敛。更糟的是,即便在相当简单的博弈中,如石头-剪刀-布博弈的变体,也可能出现混沌行为。尽管学习动力学中的混沌行为可被著名的Poincaré-Bendixson定理排除,但它仅适用于低维设定。是否存在博弈的其他特征能够迫使学习极限集的正则性?我们表明,与Poincaré-Bendixson定理一致的行为(极限环,但无混沌吸引子)可纯粹由交互图的拓扑结构导出,即便对于具有任意数量参与者和任意收益矩阵的高维设定亦然。我们对一类广泛的跟随正则化领导者(FoReL)动力学证明了该结果,该类动力学推广了复制动力学,适用于由交互图刻画的二元博弈,其中每个参与者的收益仅受另一参与者影响(即入度为1的交互图)。由于混沌已出现在仅有两个参与者和三种策略的博弈中,此类非混沌博弈可被视为极大的。此外,我们给出了此类行为转化为效率保证的简单条件,意味着FoReL学习达到的支付时间平均和至少与纳什均衡的一样好,从而将动力学的拓扑与社会福利分析相联系。

关键词

引用

@article{arxiv.2102.00053,
  title  = {Poincar\'{e}-Bendixson Limit Sets in Multi-Agent Learning},
  author = {Aleksander Czechowski and Georgios Piliouras},
  journal= {arXiv preprint arXiv:2102.00053},
  year   = {2022}
}