部分可观测无眠多臂老虎机的松弛可索引性与索引策略
最优化与控制
2025-04-18 v4
摘要
本文研究一类重要的无眠多臂老虎机（RMAB）问题，其在运筹学、随机优化与强化学习中有广泛应用。存在 个独立的马尔可夫过程，可被操作、观测并给出奖励。由于资源约束，我们只能选择 个过程的子集进行操作，并根据所选过程的状态获得奖励。我们将该问题建模为具有无限状态空间的部分可观测 RMAB，并设计了一种低复杂度、近最优性能的算法。我们的算法基于 Whittle 原始可索引性思想的推广。所称的松弛可索引性这一扩展定义，在所提算法框架下实现了近似 Whittle 索引的高效在线验证与计算。
引用
@article{arxiv.2107.11939,
title = {Relaxed Indexability and Index Policy for Partially Observable Restless Bandits},
author = {Keqin Liu},
journal= {arXiv preprint arXiv:2107.11939},
year = {2025}
}