多智能体低维线性赌博机

我们研究了一个带有辅助信息的多智能体随机线性赌博机，该赌博机由一个未知向量 $\theta^* \in \mathbb{R}^d$ 参数化。辅助信息由一个有限集合的低维子空间组成，其中之一包含 $\theta^*$。在我们的设定中，智能体可以通过连接它们的通信图发送推荐来协作以减少遗憾。我们提出了一种新颖的去中心化算法，其中智能体相互通信子空间索引，并且每个智能体在相应的（低维）子空间上执行LinUCB的投影变体。通过将最优子空间的搜索分布给用户，并由每个智能体在相应的低维子空间中学习未知向量，我们证明了每个智能体的有限时间遗憾远小于智能体不通信的情况。最后，我们通过模拟补充了这些结果。