具有紧凑提示的异构多智能体多臂老虎机问题

我们研究了一种受提示的异构多智能体多臂老虎机问题（HMA2B），其中智能体可查询低成本观测（提示），除拉臂外。在该框架下，每个智能体对 K 臂上的奖励分布具有唯一性，在 T 轮中，只有当无其他智能体拉取该臂时，才能观察到该臂的奖励。目标是通过查询最少必要的提示（不拉臂）来最大化总效用，实现时间无关的 regret。我们在集中式和分布式设置下均研究了 HMA2B。我们的主要集中式算法 GP-HCLA 是 HCLA 的扩展，采用中心决策者进行臂拉取和提示查询，在 O(M^4K) 的 regret 下获得 O(MK log T) 的自适应提示。在分布式设置下，我们提出两种算法 HD-ETC 和 EBHD-ETC，允许智能体通过基于碰撞的通信独立选择动作并统一查询提示直至停止，在 O(M^3K^2) 的 regret 下获得 O(M^3K log T) 的提示，其中前者需要知道最小间隙，后者则不需要。最后，我们建立下界以证明结果的最优性，并通过数值仿真进行验证。