Whittle 索引策略渐近最优性的指数收敛速率
性能
2020-12-17 v1 最优化与控制
概率论
摘要
我们评估了当 bandit 数量增长时，restless Markovian bandit 的 Whittle 索引 策略的性能。[30] 中证明，若 bandit 可索引且相关确定性系统具有全局吸引不动点，则该性能是渐近最优的。本文中我们表明，在相同条件下，收敛速率在 bandit 数量上是指数的，除非不动点是奇异的（后文定义）。我们的证明基于支配随机系统的确定性方程的性质：我们证明它是经验测度单纯形内的分段仿射连续动力系统。利用仿真与数值求解器，我们还研究了指数速率定理条件被违反的情况，特别是出现吸引极限环或不动点奇异时。我们在文献中已被充分研究的 Markovian 衰落信道模型上阐释了我们的定理。最后，我们将同步模型结果扩展到异步模型。
引用
@article{arxiv.2012.09064,
title = {Exponential Convergence Rate for the Asymptotic Optimality of Whittle Index Policy},
author = {Nicolas Gast and Bruno Gaujal and Chen Yan},
journal= {arXiv preprint arXiv:2012.09064},
year = {2020}
}