多臂老虎机中的天际线识别

我们引入经典 PAC 多臂老虎机问题的一个变体。存在一个有序的 $n$ 个臂的集合 $A[1],\dots,A[n]$，每个臂具有从某个未知有界分布中抽取的随机奖励。目标是识别集合 $A$ 的 $skyline$（天际线），即由所有满足 $A[i]$ 的期望奖励大于所有编号更小的臂 $A[1],\dots,A[i-1]$ 的臂 $A[i]$ 组成。我们定义 $\varepsilon$-近似天际线的自然概念，并证明识别 $\varepsilon$-天际线的匹配上下界。具体而言，我们表明，要以 $1-\delta$ 的概率从 $n$ 个臂中识别出一个 $\varepsilon$-天际线，$$\Theta\bigg(\frac{n}{\varepsilon^2} \cdot \min\bigg\{ \log\bigg(\frac{1}{\varepsilon \delta}\bigg), \log\bigg(\frac{n}{\delta}\bigg) \bigg\} \bigg)$$ 个样本是必要且充分的。当 $\varepsilon \gg 1/n$ 时，我们的结果优于朴素算法——该算法抽取足够样本以近似每个臂的期望奖励；（Auer 等人，AISTATS'16）用于帕累托最优臂识别的算法同样被超越。我们的结果表明，天际线问题的样本复杂度严格介于最优臂识别（Even-Dar 等人，COLT'02）与近似每个臂的期望奖励之间。