可索引性对Whittle而言并不足够：针对 restless bandit 的改进近最优算法

我们研究具有多个动作的 restless 多臂老虎机（RMABs）的规划问题。这是多智能体系统的一种流行模型，具有多通道通信、监控和机器维护任务以及医疗保健等应用。基于拉格朗日松弛的 Whittle 索引策略因其简单性以及在某些条件下的近最优性而被广泛使用。在本文中，我们首先表明，即使在 RMABs 可索引的简单且实际相关的设置中，Whittle 索引策略也会失效。我们讨论了最优性保证为何失效，以及为何渐近最优性可能无法很好地转化到实际相关的规划时域。然后我们提出一种基于平均场方法的替代规划算法，该方法可在臂数量很大时以可证明且高效的方式获得近最优策略，而无需 Whittle 索引策略所需的严格结构假设。这借鉴了现有研究的一些改进：我们的方法无超参数，并且我们提供了改进的非渐近分析，其具有：(a) 无需外生超参数且对已知问题参数的多项式依赖更紧；(b) 高概率界，表明策略的奖励是可靠的；(c) 关于臂数量与该算法匹配的次优性下界，从而证明了我们界的最紧性。我们广泛的实验分析表明，平均场方法匹配或优于其他基线。