去中心化SGD的高概率收敛保证

高概率收敛（HP）吸引日益增多的关注，因其意味着指数衰减的尾部界限以及对单个算法运行的强有力保证。虽然许多工作研究HP保证，但在去中心化设置下，已知的工作要求强假设，如均匀有界梯度或渐近消失的噪声。这导致HP意义下的收敛与均方误差（MSE）意义下的收敛之间存在显著的假设差距；这也与集中设置相反，在集中设置中已知在成本函数上所需的条件下，$\mathtt{SGD}$在HP意义下收敛。受此启发，我们研究去中心化$\mathtt{SGD}$（$\mathtt{DSGD}$）在轻尾噪声下的HP收敛，取得了几个强有力的结果。首先，我们表明$\mathtt{DSGD}$在成本方面的条件下即可在HP意义下收敛，消除了先前工作中使用的限制性假设。其次，我们的尖锐分析给出非凸和强凸成本的次优率。第三，我们建立了用户数的线性加速，导致匹配或严格更好的瞬时时间 than MSE结果，进一步凸显了我们分析的紧密性。据我们了解，这是首个表明$\mathtt{DSGD}$在HP意义下实现线性加速的工作。我们放宽的假设和尖锐的速率源于若干独立的技术结果，包括去中心化方法在HP意义下方差缩减效应的结果，以及即使在集中设置下也具有广泛兴趣的强凸成本的矩生成函数的新型界限。数值实验验证了我们的理论。