基于Q学习的公共 goods 游戏中的合作演化

近期范式转变从仿照学习到强化学习（RL）在理解人类行为方面显示出良好的效果。在RL范式中，个体通过与环境交互来寻找最优策略以做出决策。这意味着从周围环境中获取、处理和利用信息对于决策至关重要。然而，现有研究通常研究成对游戏，如囚徒困境，并采用仅以自身策略为依据的自利 setups，即个体仅与一名对手进行决策，忽略了环境信息。在本工作中，我们利用Q学习算法研究了以多人游戏——公共 goods 游戏为基础，结合环境信息来探讨合作的演化。具体而言，玩家的决策基于其邻居中的合作信息。我们的结果表明，相较于仿照学习，在使用Fermi规则的情况下，合作更可能出现。特别值得注意的是，在引入自愿参与后，观察到一种异常的非单调依赖关系。对Q表的分析解释了合作演化的机制。我们的发现表明，环境信息在RL范式中发挥着基本作用，以理解合作的演化以及更广泛的人类行为。