可索引与不可索引不安稳老虎机的渐近最优优先策略
概率论
2016-09-05 v1
摘要
我们研究多类不安稳老虎机的渐近最优控制。不安稳老虎机是一种可控随机过程，其状态演化取决于老虎机是否被激活。由于寻找最优控制通常是难解的，我们提出了一类优先策略，并证明在全局吸引子性质和一个技术条件下，该类策略是渐近最优的。我们既考虑固定老虎机群体，也考虑老虎机可以离开和到达的动态群体。作为动态老虎机群体的一个例子，我们分析了一个多类 队列，并证明了其索引策略的渐近最优性。我们将流体尺度技术与线性规划结果相结合，证明当老虎机可索引时，Whittle 索引策略包含在我们的优先策略类中。由此，我们将 Weber 和 Weiss [J. Appl. Probab. 27 (1990) 637-648] 关于 Whittle 索引策略渐近最优性的结果推广至以下设定：多类老虎机、新老虎机的到达以及多动作。我们的结果成立不要求老虎机的可索引性。对于不可索引老虎机，我们描述了如何从渐近最优策略类中选择优先策略，并给出了数值证据表明，在渐近区域之外，我们提出的优先策略的性能接近最优。
关键词
引用
@article{arxiv.1609.00563,
title = {Asymptotically optimal priority policies for indexable and nonindexable restless bandits},
author = {I. M. Verloop},
journal= {arXiv preprint arXiv:1609.00563},
year = {2016}
}
备注
Published at http://dx.doi.org/10.1214/15-AAP1137 in the Annals of Applied Probability (http://www.imstat.org/aap/) by the Institute of Mathematical Statistics (http://www.imstat.org)