重尾分布下高概率的无参数遗憾界

我们提出了在无界域上进行在线凸优化的新算法，该算法在仅能获取潜在重尾次梯度估计的情况下，以高概率获得无参数遗憾界。先前关于无界域的研究仅考虑次指数次梯度的期望内结果。与有界域的情况不同，由于算法产生的迭代量呈指数级增大，我们无法依赖直接的鞅集中不等式。我们开发了新的正则化技术来克服这些问题。总体而言，以不超过 $\delta$ 的概率，对于所有比较量 $\mathbf{u}$，当次梯度具有有界的 $\mathfrak{p}$ 阶矩（对于某个 $\mathfrak{p} \in (1, 2]$）时，我们的算法实现了 $\tilde{O}(\| \mathbf{u} \| T^{1/\mathfrak{p}} \log (1/\delta))$ 的遗憾界。