面向协作 $k$-臂赤巾问题的通用排队算法 QuACK
机器学习
2024-11-01 v1
摘要
我们研究了协作随机 -臂赤巾问题,其中由 个代理人组成的网络协作寻找最优动作。与大多数 prior work 关注将特定算法扩展到多代理设置不同,我们提供了一个黑盒化简,允许将任何单代理人赤巾算法扩展到多代理设置。在赤巾环境的 mild 假设下,我们证明了该简化将单代理算法的 regret 保证传递到多代理设置。这些保证在亚高斯环境中是 tight 的,即使用接近 minimax 最优的单玩家算法在多玩家设置中也是接近 minimax 最优,仅受图结构相关量的 additive 限制。我们的简化和理论结果也具有普适性,可适用于各种不同的赤巾设置。通过插入适当的单玩家算法,我们可以轻松地为诸如重尾赤巾、对抗赤巾以及带有局部差分隐私的赤巾等众多多玩家设置开发出可 provable 高效的算法。实验上,我们的做法与或超过专门的多代理算法。
引用
@article{arxiv.2410.23867,
title = {QuACK: A Multipurpose Queuing Algorithm for Cooperative $k$-Armed Bandits},
author = {Benjamin Howson and Sarah Filippi and Ciara Pike-Burke},
journal= {arXiv preprint arXiv:2410.23867},
year = {2024}
}