通信式多玩家多臂老虎机问题的渐近最优算法

我们考虑一个带有多个玩家的去中心化随机多臂老虎机问题。每个玩家旨在通过拉动一个臂来最大化自己的奖励。各臂基于独立同分布的随机 Bernoulli 分布给出奖励。玩家不知道各臂的概率分布。在每一轮结束时，玩家将其所拉动的臂及所得奖励告知其邻居。玩家的邻居根据连通性为 $\alpha$ 的 Erdős-Rényi 图确定。该图在每轮开始时以相同连通性重新生成。当在一轮中有多于一个玩家选择同一臂时，我们假设仅被随机选中的其中一个玩家获得奖励，其余玩家一无所获。我们首先假设玩家不知道碰撞模型，并为 $\alpha = 1$ 的情形给出一种渐近最优算法。随后，我们扩展先前工作，在假设玩家知晓碰撞模型的前提下，为除零以外的任意连通性给出一种渐近最优算法。我们还通过与传统多臂老虎机算法比较，实证研究了玩家间通信程度 $\alpha$ 对累积遗憾的影响。