使用 $\ell_p$ 置信集的离线线性上下文老虎机悲观方法

我们提出了一族 $\{\hat{\pi}\}_{p\ge 1}$ 用于离线学习线性上下文老虎机（contextual bandits）的悲观学习规则，其依赖于关于不同 $\ell_p$ 范数的置信集，其中 $\hat{\pi}_2$ 对应于 Bellman 一致悲观（BCP），而 $\hat{\pi}_\infty$ 是将下置信界（LCB）推广到线性设定的一种新方法。我们证明了新的 $\hat{\pi}_\infty$ 学习规则在某种意义上是自适应最优的，因为它针对所有 $\ell_q$ 约束问题达到了极小极大性能（相差对数因子），因此它在族中严格支配所有其他预测器，包括 $\hat{\pi}_2$。