两类可索引部分可观测 restless _bandit 及 Whittle 指数计算
系统与控制
2023-05-25 v3 系统与控制
摘要
我们考虑在部分可观测性下具有一般状态空间的 restless bandit，包含两种观测模型：第一，每个 bandit 的状态完全不可观测；第二，每个 bandit 的状态仅在其被选择时才可观测。我们假设两种模型均满足重启性质，在此性质下我们证明了模型的可索引性，并提出以 Whittle 指数策略作为求解方案。对于第一种模型，我们推导了 Whittle 指数的闭式表达式。对于第二种模型，我们利用最优策略的定性性质，提出一种高效算法来计算 Whittle 指数。我们给出了针对机器维护问题多个实例的详细数值实验。结果表明，Whittle 指数策略优于短视策略，并且在不同设定下可接近最优。
引用
@article{arxiv.2104.05151,
title = {Two families of indexable partially observable restless bandits and Whittle index computation},
author = {Nima Akbarzadeh and Aditya Mahajan},
journal= {arXiv preprint arXiv:2104.05151},
year = {2023}
}