零样本协调的一种新形式化、方法及开放问题
人工智能
2023-07-14 v3 机器学习
摘要
在许多协调问题中，独立推理的人类能够发现相互兼容的策略。相比之下，独立训练的自博弈策略往往是互不兼容的。零样本协调（ZSC）最近被提出作为多智能体强化学习的一个新前沿，以解决这一基本问题。先前的工作通过假设参与者能就共享学习算法达成一致但不能就动作和观测的标签达成一致来处理 ZSC 问题，并提出了其他博弈（other-play）作为最优解。然而，迄今为止，这一“无标签”问题仅被非正式地定义。我们将此设定形式化为无标签协调（LFC）问题，通过定义无标签协调博弈。我们表明其他博弈并非 LFC 问题的最优解，因为它未能一致地打破其他博弈目标的不兼容最大化者之间的平局。我们引入了该算法的扩展，带平局打破的其他博弈（other-play with tie-breaking），并证明它在 LFC 问题中是最优的且是 LFC 博弈中的均衡。由于任意平局打破正是 ZSC 设定旨在防止的，我们得出结论：LFC 问题并未反映 ZSC 的目标。为此，我们引入了 ZSC 的一种替代性非正式操作化，作为未来工作的起点。
引用
@article{arxiv.2106.06613,
title = {A New Formalism, Method and Open Issues for Zero-Shot Coordination},
author = {Johannes Treutlein and Michael Dennis and Caspar Oesterheld and Jakob Foerster},
journal= {arXiv preprint arXiv:2106.06613},
year = {2023}
}