一种更快的索引算法及带切换代价的多臂老虎机的计算研究

我们处理难以求解的带切换代价的多臂老虎机问题，对此 Asawa 与 Teneketzis 在 [M. Asawa and D. Teneketzis. 1996. Multi-armed bandits with switching penalties. IEEE Trans. Automat. Control, 41 328-348] 中引入了一种部分刻画最优策略的索引，为每个项目状态附加一个“延续索引”（其 Gittins 索引）和一个“切换索引”。他们提议将两者联合计算为具有 $2 n$ 个状态（当原项目有 $n$ 个状态时）的项目的 Gittins 索引，相对于计算延续索引的 $O(n^3)$ 算术运算量，导致八倍的增加。我们提出了一种更快的解耦计算方法：第一阶段计算延续索引，然后在第二阶段以快一个数量级的速度、至多 $n^2 + O(n)$ 次算术运算计算切换索引，总体上实现算术运算量四倍的减少以及大幅减少的内存操作。该分析利用了 Asawa 与 Teneketzis 索引在其 restless 重构中是项目的边际生产力索引这一事实，使用了作者引入的方法。我们报告了广泛的计算实验，证明了新算法实现的显著运行加速，以及所得索引策略的近最优性及其在广泛生成的双项目和三项目随机实例中相对基准 Gittins 索引策略的实质性增益。