单遍流式随机多臂老虎机的紧致间隙依赖内存-遗憾权衡

我们研究了单遍流式随机多臂老虎机（MAB）中间隙依赖遗憾的最小化问题。在该问题中，$n$ 个臂存在于一个数据流中，且最多只能将 $m<n$ 个臂及其统计信息存储在内存中。我们针对所有相关参数建立了紧致的非渐近遗憾界，包括臂的数量 $n$、内存大小 $m$、轮数 $T$ 以及 $(\Delta_i)_{i\in [n]}$，其中 $\Delta_i$ 是最优臂与第 $i$ 个臂之间的奖励均值间隙。玩家事先并不知道这些间隙。具体而言，对于任意常数 $\alpha \ge 1$，我们提出了两种算法：一种适用于 $m\ge \frac{2}{3}n$ 的情况，其遗憾至多为 $O_\alpha\Big(\frac{(n-m)T^{\frac{1}{\alpha + 1}}}{n^{1 + {\frac{1}{\alpha + 1}}}}\displaystyle\sum_{i:\Delta_i > 0}\Delta_i^{1 - 2\alpha}\Big)$；另一种适用于 $m<\frac{2}{3}n$ 的情况，其遗憾至多为 $O_\alpha\Big(\frac{T^{\frac{1}{\alpha+1}}}{m^{\frac{1}{\alpha+1}}}\displaystyle\sum_{i:\Delta_i > 0}\Delta_i^{1 - 2\alpha}\Big)$。我们还通过证明对于任意常数 $\alpha\ge 1$ 和任意 $m\leq k < n$，存在一组困难实例使得任何算法的遗憾为 $\Omega_\alpha\Big(\frac{(k-m+1) T^{\frac{1}{\alpha+1}}}{k^{1 + \frac{1}{\alpha+1}}} \sum_{i:\Delta_i > 0}\Delta_i^{1-2\alpha}\Big)$，从而为这两种情况给出了匹配的下界。这是流式 MAB 首个紧致的间隙依赖遗憾界。在我们的工作之前，Agarwal, Khanna 和 Patil (COLT'22) 针对特殊情形 $\alpha=1$ 且 $m=O(1)$ 建立了 $O\Big(\sum_{i\colon\Delta>0} \frac{\sqrt{T}\log T}{\Delta_i}\Big)$ 的上界。相比之下，我们的结果给出了正确的遗憾阶数 $\Theta\Big(\frac{1}{\sqrt{m}}\sum_{i\colon\Delta>0}\frac{\sqrt{T}}{\Delta_i}\Big)$。