重温用于光滑分布式优化的 EXTRA

EXTRA 是一种流行的去中心化分布式优化方法,具有广泛应用。本文重温 EXTRA。首先,我们给出 EXTRA 的精确复杂度分析,对 $\mu$-强凸且 $L$-光滑问题,其通信与计算复杂度为改进的 $O\left(\left(\frac{L}{\mu}+\frac{1}{1-\sigma_2(W)}\right)\log\frac{1}{\epsilon(1-\sigma_2(W))}\right)$,其中 $\sigma_2(W)$ 为权重矩阵 $W$ 的第二大奇异值。当不存在强凸性时,我们证明了 $O\left(\left(\frac{L}{\epsilon}+\frac{1}{1-\sigma_2(W)}\right)\log\frac{1}{1-\sigma_2(W)}\right)$ 的复杂度。随后,我们利用 Catalyst 框架加速 EXTRA,对强凸且光滑问题得到 $O\left(\sqrt{\frac{L}{\mu(1-\sigma_2(W))}}\log\frac{ L}{\mu(1-\sigma_2(W))}\log\frac{1}{\epsilon}\right)$ 的通信与计算复杂度,对非强凸问题得到 $O\left(\sqrt{\frac{L}{\epsilon(1-\sigma_2(W))}}\log\frac{1}{\epsilon(1-\sigma_2(W))}\right)$ 的复杂度。我们加速后 EXTRA 的通信复杂度,相对于强凸和非强凸问题的下界复杂度,分别仅多出 $\left(\log\frac{L}{\mu(1-\sigma_2(W))}\right)$ 和 $\left(\log\frac{1}{\epsilon(1-\sigma_2(W))}\right)$ 的因子。