有限通信下的多智能体多臂老虎机

我们考虑 $N$ 个智能体协作地与一个随机 $K$ 臂老虎机实例交互的问题，其中 $K \gg N$。这些智能体旨在同时最小化所有智能体在总共 $T$ 个时间步上的累积后悔、通信轮数以及每轮通信的比特数。我们提出有限通信协作-上置信界（LCC-UCB），一种基于倍增周期的算法，其中每个智能体仅在该周期结束时进行通信，并共享其所知最优臂的索引。使用我们的算法 LCC-UCB，每个智能体享有 $\tilde{O}\left(\sqrt{({K/N}+ N)T}\right)$ 的后悔，通信 $O(\log T)$ 步，并在每步通信中广播 $O(\log K)$ 比特。我们将该工作扩展到最大度数为 $K_G$、直径为 $D$ 的稀疏图，并提出 LCC-UCB-GRAPH，其享有 $\tilde{O}\left(D\sqrt{(K/N+ K_G)DT}\right)$ 的后悔界。最后，我们通过实验表明 LCC-UCB 与 LCC-UCB-GRAPH 算法表现良好，并且优于通过中心节点通信的策略。