线性赌博机中$\varepsilon$-最优臂识别的自适应能力研究

我们研究了线性赌博机中$\varepsilon$-最优臂识别的极小极大样本复杂度。给定一个张成$\mathbb{R}^d$的紧致动作集$\mathcal{X}$和一个未知奖励向量$\theta\in\mathbb{R}^d$，目标是输出一个臂$\widehat{x}\in\mathcal{X}$，使得$\langle \widehat{x},\theta\rangle \ge \max_{x\in\mathcal{X}} \langle x,\theta\rangle - \varepsilon$以至少$1-\delta$的概率成立，并尽可能少地使用样本。首先，我们提出一种非自适应固定设计方法，其样本复杂度为$\mathcal{O}\!\left(\frac{d\log(1/\delta)}{\varepsilon^2}+\frac{w(\mathcal{X})^2}{\varepsilon^2}\right)$，其中$w(\mathcal{X})$是依赖于$\mathcal{X}$的高斯宽度项，并证明了所有非自适应固定设计方法的下界为$\Omega\!\left(\frac{d\log(1/\delta)}{\varepsilon^2}+\frac{w(\mathcal{X})^2}{\varepsilon^2}\right)$。随后，我们转向自适应采样。我们提出一个重要的结构性问题：除了标准基之外，是否存在结构化的动作集，使得自适应相对于最优非自适应速率仅能带来对数因子的改进？我们对几个自然动作集给出了肯定的回答，即超立方体、$\ell_2$球、$m$-集和多任务多臂赌博机。最后，我们首次构造了一个动作集$\mathcal{X}$，使得自适应相对于每一个非自适应算法都能带来多项式因子的改进。实现这种分离的一个关键要素是一个$\ell_2$-范数估计子程序：我们设计了一个自适应算法，该算法从$\mathbb{R}^d$中的单位$\ell_2$球中采样$\mathcal{O}\!\left(\frac{d\log(1/\delta)}{\varepsilon^2}\right)$个样本，并输出一个估计值$\widehat r$，使得$|\widehat r-\|\theta\|_2|\le \varepsilon$以至少$1-\delta$的概率成立，其中$\theta$是未知的奖励向量。