实状态折扣 restless bandits 阈值可指标化的验证定理

Whittle 指标表征了控制单个 restless bandit 项目（一个具有两种动作的马尔可夫决策过程：主动和被动）的最优策略，它是求解棘手的 restless 多臂 bandit 问题的一种广泛使用的启发式指标策略的基础。然而，应用此类策略需要克服两个障碍：必须证明模型中的单个项目是可指标化的，从而使其具有 Whittle 指标；并且必须对该指标进行评估。当项目状态空间为实区间时（如近期的传感器调度应用），这些障碍尤为棘手。本文给出了折扣准则下一般实状态离散时间 restless bandits 可指标化（相对于广义 Whittle 指标）的充分条件，这些条件不依赖于阐明最优值函数的性质，也不需要像现有方法那样预先证明阈值策略的最优性。主要贡献是一个验证定理，该定理确立了：如果阈值策略下的项目性能指标和一个显式定义的边际生产率 (MP) 指标满足三个条件，则该项目是可指标化的，其广义 Whittle 指标由 MP 指标给出，且阈值策略对动态项目控制是最优的。