权力的游戏：多玩家老虎机的完全分布式学习
计算机科学与博弈论
2021-04-06 v7
摘要
我们考虑一个 N 玩家多臂老虎机博弈，其中每个玩家在 T 轮中选择 M 个臂中的一个。每个玩家对各个臂有不同的期望奖励，且瞬时奖励独立同分布或具有马尔可夫性。当两个或更多玩家选择同一臂时，它们均获得零奖励。性能通过期望后悔和来衡量，与最大化期望奖励和的臂-玩家最优分配相比。我们假设每个玩家仅知道自己的动作和每轮收到的奖励。玩家无法观察其他玩家的动作，且玩家之间不可能通信。我们提出了一种分布式算法，并证明它实现了近 O(log T) 的期望后悔和。这是首个在该完全分布式场景下实现近阶最优后悔的算法。所有其他工作都假设要么所有玩家具有相同的期望奖励向量，要么玩家间可通信。
引用
@article{arxiv.1810.11162,
title = {Game of Thrones: Fully Distributed Learning for Multi-Player Bandits},
author = {Ilai Bistritz and Amir Leshem},
journal= {arXiv preprint arXiv:1810.11162},
year = {2021}
}
备注
Published in Mathematics of Operations Research (submitted in September 2018). A preliminary version was published in NeurIPS 2018. This extended paper improves the regret bound to near-log(T), generalizes to unbounded and Markovian rewards, and has a much better convergence rate for the GoT Dynamics