多臂老虎机的最优流式算法

本文研究了流式模型下最佳臂识别(BAI)问题的两个变体，其中我们有一个包含$n$个臂的流，其奖励分布支撑在$[0,1]$上且均值未知。流中的臂逐个到达，算法无法访问未存储在有限大小内存中的臂。我们首先研究流式\eps-$top$-$k$臂识别问题，该问题要求以至少$1-\delta$的概率找出$k$个臂，其奖励均值与第$k$优臂的均值之差不超过$\eps$。对于一般的$\eps \in (0,1)$，该问题的现有解决方案假设$k = 1$，并使用$O(\log^*(n))$（$\log^*(n)$等于对$n$重复应用对数函数直到结果不大于1的次数）内存和单遍流，实现了最优样本复杂度$O(\frac{n}{\eps^2} \log \frac{1}{\delta})$。我们提出了一种适用于任意$k$的算法，使用单臂内存和单遍流，实现了最优样本复杂度$O(\frac{n}{\eps^2} \log\frac{k}{\delta})$。其次，我们研究了流式BAI问题，其目标是以至少$1-\delta$的概率识别出具有最大奖励均值的臂，使用单臂内存并尽可能少地遍历输入流。我们提出了一种单臂内存算法，在$O(\log \Delta_2^{-1})$遍内实现了接近实例相关的最优样本复杂度，其中$\Delta_2$是最优臂均值与次优臂均值之间的差距。