相关量化：加速非凸分布式优化
机器学习
2024-01-12 v1 人工智能
分布式、并行与集群计算
最优化与控制
摘要
量化（Alistarh等人，2017）是一种重要的（随机）压缩技术，可减少分布式模型训练中每轮通信传输的比特数。Suresh等人（2022）引入了相关量化器，并通过分析分布式SGD的通信复杂度展示了其相对于独立量化器的优势。我们分析了利用所提出的相关量化器的前沿分布式非凸优化算法MARINA（Gorbunov等人，2022），并表明其在通信复杂度方面优于原始MARINA和Suresh等人（2022）的分布式SGD。我们使用加权Hessian方差（Tyurin等人，2022）在不添加任何额外假设的情况下显著改进了MARINA的原始分析，然后扩展了MARINA的理论框架，以容纳更广泛的潜在相关和有偏压缩器，从而将该方法的适用性扩展到传统的独立无偏压缩器设置之外。大量实验结果证实了我们的理论发现。
引用
@article{arxiv.2401.05518,
title = {Correlated Quantization for Faster Nonconvex Distributed Optimization},
author = {Andrei Panferov and Yury Demidovich and Ahmad Rammal and Peter Richtárik},
journal= {arXiv preprint arXiv:2401.05518},
year = {2024}
}