关于无休止多臂隐马尔可夫赌博机的 Whittle 索引
系统与控制
2017-12-20 v3
摘要
我们考虑一个无休止多臂赌博机，其中每个臂可处于两种状态之一。当某个臂被采样时，采样者无法获知该臂的状态。相反，可获得一个依赖于臂状态且具有已知随机性的二值信号。若臂未被采样，则无信号可用。每次采样会累积与臂相关的奖励。在每个时间步，每个臂根据已知的转移概率改变状态，而转移概率又取决于臂是否被采样。由于臂的状态永远不可见，必须从当前置信度和可能的二值信号推断，我们称之为隐马尔可夫赌博机。我们的兴趣在于每一步选择臂的策略，以最大化无限期折扣奖励。具体而言，我们寻求在臂选择中使用 Whittle 索引。我们首先分析单臂赌博机，并表明一般而言，当“不采样”动作存在正奖励时，它容许近似阈值型最优策略。我们还确定了若干阈值策略确为最优策略的特例。接下来，我们表明此类单臂赌博机也满足近似可索引性性质。对于单臂赌博机容许阈值型最优策略的情形，我们计算了每个臂的 Whittle 索引。数值例子阐释了分析结果。
引用
@article{arxiv.1603.04739,
title = {On the Whittle Index for Restless Multi-armed Hidden Markov Bandits},
author = {Rahul Meshram and D. Manjunath and Aditya Gopalan},
journal= {arXiv preprint arXiv:1603.04739},
year = {2017}
}
备注
Revised version, corrected few typos