平均二阶相似度下的随机分布式优化:算法与分析

我们在流行的 $\delta$-相似度与 $\mu$-强凸条件下,研究涉及一个主节点与 $n-1$ 个本地节点的有限和分布式优化问题。受先前工作启发,我们提出两种新算法 SVRS 与 AccSVRS。非加速的 SVRS 方法结合了梯度滑动与方差缩减技术,相较现有非加速算法取得了更优的 $\tilde{\mathcal{O}}(n {+} \sqrt{n}\delta/\mu)$ 通信复杂度。应用 Katyusha X 中提出的框架,我们还开发了直接加速版本 AccSVRS,其通信复杂度为 $\tilde{\mathcal{O}}(n {+} n^{3/4}\sqrt{\delta/\mu})$。与已有结果不同,我们的复杂度界完全无平滑性依赖,并在病态情形下展现优势。此外,我们建立了近乎匹配的下界以验证 AccSVRS 方法的紧性。