常数空间的随机多臂老虎机

我们考虑次线性空间设定下的随机老虎机问题，其中无法记录所有 $K$ 个臂的胜负记录。我们给出一种使用 $O(1)$ 字空间的算法，其悔值界为 $$\sum_{i=1}^{K}\frac{1}{\Delta_i}\log \frac{\Delta_i}{\Delta}\log T$$ 其中 $\Delta_i$ 为最优臂与第 $i$ 个臂之间的差距，$\Delta$ 为最优臂与第二优臂之间的差距。若收益远离 $0$ 和 $1$ 有界，则该悔值在无空间约束下可能最优悔值的 $O(\log 1/\Delta)$ 因子范围内。