具有相关臂的多臂老虎机

我们研究经典多臂老虎机问题（MABP）的一个变体，称之为具有相关臂的多臂老虎机。更具体地说，多个臂被分组形成一个簇，属于同一簇的臂的奖励分布是未知参数的已知函数，该未知参数是簇的特征。因此，拉动臂 $i$ 不仅揭示其自身奖励分布的信息，还揭示所有与臂 $i$ 共享同一簇的臂的信息。臂之间的这种“相关性”使 MABP 中遇到的探索-利用权衡复杂化，因为观测依赖性使我们能够同时检验关于臂最优性的多个假设。我们基于 UCB 原则开发了学习算法，在进行探索-利用权衡时适当地利用这些额外的侧面观测。我们证明我们算法的后悔以 $O(K\log T)$ 增长，其中 $K$ 是簇的数量。相比之下，对于诸如 vanilla UCB 这类针对经典 MABP 最优且未利用这些依赖性的算法，其后悔随 $O(M\log T)$ 缩放，其中 $M$ 是臂的数量。