基于强化学习的雪堆博弈中反协调模式的涌现
物理与社会
2024-05-17 v1
摘要
自然界中由自组织形成的模式因其有趣的结构而引起了多个学科的广泛关注。在雪堆博弈（SDG）中，其被视为一种反协调博弈，但反协调模式却反直觉地罕见。在本工作中，我们引入了一个名为双智能体双动作强化学习演化博弈（ RLEG）的模型，并将其应用于规则格上的 SDG。我们以反协调域（AC-domains）的形式揭示了有趣的现象，其中观察到了不同的阻挫区域，并在边界处识别出连续相变。为了理解其潜在机制，我们发展了微扰理论来分析不同 AC-domains 的稳定性。我们的理论准确地将参数空间划分为非反协调、反协调和混合区域，并捕捉了它们对学习参数的依赖性。最后，通过考察 AC-domains 的生长与成核，研究了具有大学习率和大折扣因子且偏离理论的异常情景。我们的工作为自然界中空间模式的涌现提供了见解，并有助于发展分析其结构复杂性的理论。
引用
@article{arxiv.2401.13497,
title = {Emergence of anti-coordinated patterns in snowdrift game by reinforcement learning},
author = {Zhen-Wei Ding and Ji-Qiang Zhang and Guo-Zhong Zheng and Wei-Ran Cai and Chao-Ran Cai and Li Chen and Xu-Ming Wang},
journal= {arXiv preprint arXiv:2401.13497},
year = {2024}
}