流式多臂老虎机探索中已知最优间隙的近紧界

我们研究多次遍历流式多臂老虎机(MAB)中纯探索的样本-内存-遍历权衡。假设已知最优间隙$\Delta_{[2]}$。这里，最优间隙$\Delta_{[i]}$定义为最佳臂与第i佳臂之间的平均奖励间隙。在Jin、Huang、Tang和Xiao[ICML'21]和Assadi和Wang[COLT'24]的最新研究中表明，如果没有已知$\Delta_{[2]}$，则需要$\Theta(\log(1/\Delta_{[2]}))$（最多$\log\log(1/\Delta_{[2]})$项）的遍历复杂度才能获得$O(n/\Delta^{2}_{[2]})$的最坏情况最优样本复杂度，并以单臂内存实现。然而，对已知$\Delta_{[2]}$的多遍历算法的理解仍有限。本文的关键开放问题是：在次线性内存规模下，实现复杂度$O(\sum_{i=2}^{n}1/\Delta^2_{[i]})$臂拉取所需的遍历次数是多少。我们证明，答案是$\Theta(\log{n})$（最多$\log\log{n}$项）。我们首先给出下界，表明任何寻找最佳臂且仅使用次线性内存（即内存为$o({n}/{\text{polylog}({n})})$臂）且臂拉取次数为$O(\sum_{i=2}^{n}{1}/{\Delta^{2}_{[i]}}\cdot \log{(n)})$的算法都需要$\Omega(\frac{\log{n}}{\log\log{n}})$次遍历。随后我们给出一个近似匹配的算法，假设已知$\Delta_{[2]}$，以$O(\sum_{i=2}^{n}1/\Delta^2_{[i]} \cdot \log{n})$臂拉取和*单臂*内存找到最佳臂。