具有异构奖励方差的近似Top-$m$臂辨识

我们研究在近似top-$m$臂辨识设定中奖励方差异构性的影响。在该设定下，第$i$个臂的奖励服从$\sigma^2_i$-次高斯分布，智能体需要利用该知识来最小化期望的臂拉动次数，以在误差$\epsilon$内、从$n$个臂中以至少$1-\delta$的概率辨识出均值最大的$m$个臂。我们表明该问题的最坏情况样本复杂度为$$\Theta\left( \sum_{i =1}^n \frac{\sigma_i^2}{\epsilon^2} \ln\frac{1}{\delta} + \sum_{i \in G^{m}} \frac{\sigma_i^2}{\epsilon^2} \ln(m) + \sum_{j \in G^{l}} \frac{\sigma_j^2}{\epsilon^2} \text{Ent}(\sigma^2_{G^{r}}) \right),$$其中$G^{m}, G^{l}, G^{r}$是总臂集$\{1, 2, \ldots, n\}$的某些特定子集，$\text{Ent}(\cdot)$是一个类熵函数，用于度量方差代理的异构性。复杂度的上界通过使用分治风格算法获得，而匹配的下界依赖于对偶公式的研究。