基于 restless bandit 边际生产力指数的动态优先级分配

本文综述了作者近期关于 restless bandit 指标化的理论与算法方面的工作，及其在涉及多个随机项目优先级动态分配的各类问题中的应用。主要目的是以易于理解的形式呈现可为研究此类问题的研究人员提供帮助的思想与方法。除了建立在关于 bandit 问题的丰富文献之上，我们的方法还借鉴了线性规划、经济学和多目标优化的思想。具体而言，其动机是解决 Whittle 的开创性工作（Restless bandits: activity allocation in a changing world. In: Gani J. (ed.) A Celebration of Applied Probability, J. Appl. Probab., vol. 25A, Applied Probability Trust, Sheffield, pp. 287-298, 1988）中提出的问题，他在该工作中引入了 restless bandit 的指数，这也是本工作的起点。通过“边际生产力指数”(MPI) 这一直观概念，该指数连同先前提出的指数及更近期的扩展被证明是统一的，该概念衡量了在项目的每个状态下对其进行工作的边际生产力。在多项目设定中，MPI 策略在经济上是合理的，因为它们将更高的优先级动态分配给那些当前工作看起来更具生产力的项目。除了易于处理和广泛适用外，越来越多的计算证据表明，此类指数策略通常能实现近最优的性能，并显著优于源自传统方法的基准策略。