Moniqua：去中心化 SGD 中的模量化通信
机器学习
2020-07-01 v3 机器学习
摘要
以去中心化方式运行随机梯度下降（SGD）已展现出有前景的结果。本文提出 Moniqua，一种允许去中心化 SGD 使用量化通信的技术。我们从理论上证明，Moniqua 每次迭代通信的位数有可证明的界，同时以与原始全精度通信算法相同的渐近速率收敛。Moniqua 相较先前工作的改进在于：(1) 不需要额外内存，(2) 适用于 1-bit 量化，(3) 可应用于多种去中心化算法。我们通过实验证明，相对于其他量化去中心化算法，Moniqua 在挂钟时间上收敛更快。我们还表明 Moniqua 对极低比特预算具有鲁棒性，在 CIFAR10 上训练 ResNet20 和 ResNet110 时，允许每参数 1-bit 通信而不损害验证精度。
引用
@article{arxiv.2002.11787,
title = {Moniqua: Modulo Quantized Communication in Decentralized SGD},
author = {Yucheng Lu and Christopher De Sa},
journal= {arXiv preprint arXiv:2002.11787},
year = {2020}
}