一类带 AdaGrad 步长的非凸算法的高概率界

本文针对光滑非凸问题提出了一种简化的 AdaGrad 高概率分析。更具体地，我们聚焦于一个特定的加速梯度（AGD）模板（Lan, 2020），通过它我们恢复了原始 AdaGrad 及其带平均的变体，并在无需光滑性与方差知识的情况下以高概率证明了 $\mathcal O (1/ \sqrt{T})$ 的收敛速率。我们使用了 Freedman 鞅差序列集中不等式的一个特定版本（Kakade & Tewari, 2008），使我们能在概率裕度 $\delta$ 上达到已知最佳的 $\log (1 / \delta )$ 依赖。我们以模块化方式给出分析，并在确定性设定下获得了互补的 $\mathcal O (1 / T)$ 收敛速率。据我们所知，这是 AdaGrad 首个具有真正自适应方案（即完全不知晓光滑性与一致方差界）且同时具有已知最佳 $\log( 1/ \delta)$ 依赖的高概率结果。我们在额外的噪声假设下进一步证明了 AdaGrad 的噪声自适应性质。