重尾下裁剪梯度方法的高概率改进收敛性

本工作中，我们研究当噪声分布具有重尾（即对某些 $1<p\le2$ 有有界 $p$ 阶矩）时，裁剪梯度方法在\emph{高概率}下的收敛性。该设定下的先前工作遵循相同思路：利用集中不等式与带并集界的归纳论证来约束所有迭代中的迭代点。此方法导致失败概率增加 $T$ 倍，其中 $T$ 为迭代次数。我们转而提出一种基于约束恰当选择的超鞅序列矩生成函数的新的分析方法。我们改进了广泛一类带裁剪梯度的算法收敛保证中对 $T$ 的依赖性，包括凸目标下的随机（加速）镜像下降与非凸目标下的随机梯度下降。该方法自然允许算法在时间范围未知时使用时变步长与裁剪参数，而这在先前工作中似乎不可能。我们表明，在裁剪随机镜像下降情形下，设置步长与裁剪参数时不需要问题常数，包括到最优解的初值距离。