Restless Bandit 问题的可索引性与 Whittle 指数在动态多信道接入中的最优性
信息论
2008-11-13 v3 math.IT
摘要
我们考虑一类出现在动态多信道接入、用户/服务器调度以及多智能体系统中最优激活中的 restless 多臂赌博机问题。对于这类 RMBP，我们建立了可索引性，并获得了折扣和平均奖励准则下 Whittle 指数的闭式解。这些结果使得 Whittle 指数策略的实现具有极低的复杂度。当这些马尔可夫链随机相同时，我们证明了 Whittle 指数策略在特定条件下是最优的。此外，它具有半通用结构，无需知道马尔可夫转移概率。最优性和半通用结构源于本文建立的 Whittle 指数策略与近视策略之间的等价性。对于非相同信道，我们开发了高效算法来计算由拉格朗日松弛给出的性能上界。通过仿真示例说明了上界的紧致性以及 Whittle 指数策略的近乎最优性能。
引用
@article{arxiv.0810.4658,
title = {Indexability of Restless Bandit Problems and Optimality of Whittle's Index for Dynamic Multichannel Access},
author = {Keqin Liu and Qing Zhao},
journal= {arXiv preprint arXiv:0810.4658},
year = {2008}
}
备注
submitted to IEEE Transactions on Information Theory