基于平滑度感知量化技术的理论更优且数值更快的分布式优化

为解决分布式机器学习的高通信成本，近年来大量工作致力于设计各种压缩策略（如稀疏化与量化）以及能够使用它们的优化算法。最近，Safaryan 等人（2021）开创了一种截然不同的压缩设计方法：他们首先利用本地训练数据形成局部平滑度矩阵，然后提出设计能够利用其中包含的平滑度信息的压缩器。尽管这一新颖方法带来了通信上的大幅节省，但它局限于稀疏化，因为它关键依赖于压缩算子的线性。在本工作中，我们将他们的平滑度感知压缩策略推广到任意无偏压缩算子，其中也包括稀疏化。将我们的结果专门应用于随机量化，我们保证了相比标准量化在通信复杂度上的显著节省。特别地，我们证明具有 $n$ 个块的块量化在理论上优于单块量化，导致通信复杂度降低 $\mathcal{O}(n)$ 因子，其中 $n$ 是分布式系统中的节点数。最后，我们通过凸优化问题提供了广泛的数值证据，表明我们的平滑度感知量化策略在三个评估指标——迭代次数、通信的总比特数以及挂钟时间——上优于现有的量化方案以及上述平滑度感知稀疏化策略。