通过中介者在多智能体强化学习中引发公平领袖的出现

斯塔克贝格游戏及其 resulting 均衡在多智能体强化学习文献中受到越来越多的关注。传统斯塔克贝格游戏的每个阶段都涉及领袖(s)先行行动，随后是跟随者。在领袖和跟随者角色可以互换的情况下，指定的角色可能具有显著的优势，例如在先发优势情境中。那么问题随之而来：谁应该成为领袖，什么时候应该成为领袖？在领袖选择过程中存在偏见可能导致不公平的结果。如果智能体是自利的，只关心他们的目标和奖励，这种问题会加剧。我们正式定义了这个领袖选择问题，并展示其与智能体返回结果公平性之间的关系。此外，我们提出了一个通过集成中介者来最大化公平性的多智能体强化学习框架。中介者此前用于具有不同控制水平的同时行动设置中，例如直接执行智能体的动作或仅推荐动作。我们的框架将中介者集成到斯塔克贝格设置中以最小控制（领袖选择）进行整合。我们表明，中介者的存在导致自利智能体采取公平动作，从而提高智能体返回结果的整体公平性。