异构数据上分布式优化的通信压缩研究
机器学习
2020-12-23 v2 数据结构与算法
机器学习
摘要
有损梯度压缩（采用无偏或有偏压缩器）已成为避免机器学习模型集中协调分布式训练通信瓶颈的关键工具。我们分析了两类标准且通用的方法在异构（非独立同分布）数据设置下的性能：(i) 采用任意无偏量化器的分布式量化SGD（D-QSGD），以及 (ii) 采用误差反馈与有偏压缩器的分布式SGD（D-EF-SGD）。我们的结果表明，D-EF-SGD受非独立同分布数据的影响远小于D-QSGD，但若数据偏斜度高，两种方法均可能出现减速。我们进一步研究了两种不受（或很少受）异构数据分布影响的可选方案：首先，一种近期提出、在强凸问题上有效的方法；其次，我们指出一种更通用的途径，仅适用于线性压缩器，但在所有考虑场景中均有效。
引用
@article{arxiv.2009.02388,
title = {On Communication Compression for Distributed Optimization on Heterogeneous Data},
author = {Sebastian U. Stich},
journal= {arXiv preprint arXiv:2009.02388},
year = {2020}
}