具有完全重尾动力学的多智能体多臂老虎机

我们在完全重尾设置下研究去中心化多智能体多臂老虎机，其中客户端在具有重尾度分布的稀疏随机图上进行通信，并观察到具有潜在无穷方差的、重尾的（同质或异质）奖励分布。目标是通过拉动所有客户端中具有最高全局奖励均值的全局最优臂来最大化系统性能。我们是首个解决此类完全重尾场景的研究，该场景捕捉了现实世界系统中多个客户端之间通信和推理的动力学与挑战。在同质设置下，我们的算法框架利用了重尾图特有的类枢纽结构，允许客户端在构建 UCB 指数时通过枢纽估计量聚合奖励并降低噪声；在 $M$ 个客户端和幂律指数 $\alpha > 1$ 的度分布下，我们的算法实现了（几乎）阶为 $O(M^{1 -\frac{1}{\alpha}} \log{T})$ 的遗憾界。在异质奖励下，客户端通过与邻居通信进行同步，在 UCB 指数中聚合交换的估计量；利用我们新建立的稀疏随机图上的信息延迟界，我们证明了 $O(M \log{T})$ 的遗憾界。我们的结果改进了现有工作，后者仅处理时不变连通图，或稠密图与奖励中的轻尾动力学。