实状态折扣无休止_bandit 阈值可索引性的验证定理
最优化与控制
2021-05-05 v2
摘要
Whittle 指数刻画了控制某些单个无休止 bandit 项目（具有两个动作：主动与被动的马尔可夫决策过程）的最优策略，它是广泛用于难解的无休止多臂 bandit 问题的启发式指数策略的基础。然而，应用此类策略需克服两个障碍：须证明所建模型中的各项目是可索引的，从而拥有 Whittle 指数；且须对该指数求值。当项目状态空间为实区间时（如近期传感器调度应用），此类障碍尤为棘手。本文给出了在折扣准则下一般实状态离散时间无休止 bandit 可索引性（相对于广义 Whittle 指数）的充分条件，其不依赖于阐明最优值函数性质，也无需像主流方法那样事先证明阈值策略的最优性。主要贡献是一个验证定理：若阈值策略下的项目性能指标与显式定义的边际生产率（MP）指数满足三个条件，则该项目是可索引的，其广义 Whittle 指数由 MP 指数给出，且阈值策略对于动态项目控制是最优的。
关键词
引用
@article{arxiv.1902.09318,
title = {A verification theorem for threshold-indexability of real-state discounted restless bandits},
author = {José Niño-Mora},
journal= {arXiv preprint arXiv:1902.09318},
year = {2021}
}
备注
This submission has been withdrawn as it was intended as a replacement of arXiv:1512.04403, but was mistakenly submitted as a new paper