聚类赌博机的近似最优最优臂识别

本工作研究多智能体多臂赌博机的最优臂识别问题。我们考虑$N$个智能体被分为$M$个簇，每个簇解决一个随机赌博机问题。智能体与赌博机之间的映射先验未知。每个赌博机关联$K$个臂，目标是在$\delta$-大概率正确（$\delta$-PC）框架下识别每个智能体的最优臂，同时最小化样本复杂度和通信开销。我们提出两种新算法：先聚类后最优臂识别（Cl-BAI）和先最优臂识别后聚类（BAI-Cl）。Cl-BAI采用两阶段方法，首先根据智能体正在学习的赌博机问题对智能体进行聚类，然后为每个簇识别最优臂。BAI-Cl则反转这一顺序，先识别最优臂，再相应地聚类智能体。两种算法均利用逐步淘汰框架以确保计算效率和高精度。我们为两种方法建立了$\delta$-PC保证，推导了样本复杂度的上界，并给出了该问题类的下界。此外，当$M$较小（为常数）时，我们证明BAI-Cl的一个变体的样本复杂度在阶的意义上是极小极大最优的。在合成和真实数据集（MovieLens、Yelp）上的实验表明，所提算法在样本效率和通信效率方面具有优越性能，特别是在$M \ll N$的设置下。