马尔可夫_bandit 中 Whittle 指标的统一计算
最优化与控制
2019-06-27 v1
摘要
多臂 restless bandit 框架可用于建模工业工程、计算机通信、运筹学、金融工程、通信网络等众多领域中的广泛决策问题。在一项开创性工作中,Whittle 提出了一种方法以推导性能良好的(Whittle)指标策略,该策略通过求解原问题的松弛版本获得。然而,Whittle 指标本身的计算是一个困难问题,因此研究者集中于以数值方式或依赖于问题的方法计算 Whittle 指标。在我们的主要贡献中,我们推导了任意具有有限和无限转移率的马尔可夫 bandit 的 Whittle 指标的解析表达式。我们推导了松弛问题最优解为阈值型的充分条件,并获得了 bandit 可指标化(indexable)的条件,该性质保证了 Whittle 指标的存在性。我们的求解方法提供了 Whittle 指标的统一表达式,并通过将文献中已知指标作为特例重新得出加以说明。有限率的适用性以机器修理工问题说明,无限率的适用性以通信网络为例说明,其中传输速率对丢包瞬时响应。
引用
@article{arxiv.1906.10946,
title = {A unifying computations of Whittle's Index for Markovian bandits},
author = {Urtzi Ayesta and Manu K. Gupta and Ina Maria Verloop},
journal= {arXiv preprint arXiv:1906.10946},
year = {2019}
}