不安分强盗问题的可索引性条件及计算 Whittle 指数的 O(K^3) 算法

不安分强盗（restless bandits）是一类序贯资源分配问题，关注在多个备选过程之间分配一个或多个资源，其中过程的演化依赖于分配给它们的资源。此类模型刻画了探索与利用之间的基本权衡。1988 年，Whittle 为不安分强盗问题开发了一种指数启发式方法，因其简单性和强劲的经验性能已成为一种流行的求解途径。Whittle 指数启发式方法在模型满足称为可索引性（indexability）的技术条件时适用。本文中，我们提出两个可索引性的一般充分条件，并识别出这些条件更易验证的细化形式。随后我们重新审视一种先前提出的称为自适应贪婪算法的算法，该算法已知可计算一类不安分强盗的 Whittle 指数。我们证明该自适应贪婪算法的推广可计算所有可索引不安分强盗的 Whittle 指数。我们给出了该算法的高效实现，能以 O(K^3) 次计算算出具有 $K$ 个状态的不安分强盗的 Whittle 指数。最后，我们给出详细的数值研究，证实了 Whittle 指数启发式方法的强劲性能。