关于为具有可扩展遗憾值的 restleess bandit 学习 Whittle 索引策略

当系统模型未知时，强化学习是一种基于数据学习良好资源分配与调度策略的极具吸引力的方法。然而，大多数 RL 算法的累积遗憾随 $\tilde O(\mathsf{S} \sqrt{\mathsf{A} T})$ 缩放，其中 $\mathsf{S}$ 为状态空间大小，$\mathsf{A}$ 为动作空间大小，$T$ 为时域，且 $\tilde{O}(\cdot)$ 记号隐藏了对数项。由于对状态空间大小的线性依赖，这些遗憾界对于资源分配与调度问题而言大得 prohibitive。在本文中，我们针对此类问题提出一种具有可扩展遗憾的基于模型的 RL 算法。具体地，我们考虑 restless bandit 模型，并提出一种基于 Thompson 采样、针对模型底层结构调优的学习算法。我们针对 Whittle 索引 策略给出了所提算法遗憾的两种刻画。首先，我们表明对于具有 $n$ 个臂且每时刻至多 $m$ 次激活的 restless bandit，根据奖励模型不同，遗憾要么按 $\tilde{O}(mn\sqrt{T})$ 缩放，要么按 $\tilde{O}(n^2 \sqrt{T})$ 缩放。其次，在额外技术假设下，我们表明遗憾按 $\tilde{O}(n^{1.5} \sqrt{T})$ 或 $\tilde{O}(\max\{m\sqrt{n}, n\} \sqrt{T})$ 缩放。我们给出数值例子以阐明该算法的显著特征。