针对具有重尾和超重尾对称噪声的随机老虎机的快速 UCB 类算法

在本研究中，我们提出了一种基于具有非精确预言机的通用凸优化方法，为随机多臂老虎机构造 UCB 类算法的新方法。我们推导了与优化方法收敛速率相对应的遗憾界。我们提出了一种新算法 Clipped-SGD-UCB，并从理论和经验上证明，在奖励中存在对称噪声的情况下，当奖励分布满足 $\mathbb{E}_{X \in D}[|X|^{1+\alpha}] \leq \sigma^{1+\alpha}$（$\alpha \in (0, 1]$）时，我们可以实现 $O(\log T\sqrt{KT\log T})$ 的遗憾界，而不是 $O\left (T^{\frac{1}{1+\alpha}} K^{\frac{\alpha}{1+\alpha}} \right)$，即表现优于重尾老虎机一般下界所假设的情况。此外，即使当奖励分布不存在期望时，即当 $\alpha<0$ 时，同样的界依然成立。