LEASGD：一种高效且保护隐私的分布式学习去中心化算法
机器学习
2018-11-28 v1 机器学习
摘要
分布式学习系统已能够在显著更短的时间内于大量数据上训练大规模模型。在本文中，我们关注去中心化分布式深度学习系统，旨在以良好的收敛率和低通信代价实现差分隐私。为实现该目标，我们提出一种新的学习算法 LEASGD（Leader-Follower Elastic Averaging Stochastic Gradient Descent，领导者-跟随者弹性平均随机梯度下降），其由一种新颖的领导者-跟随者拓扑和差分隐私模型驱动。我们提供了关于收敛率以及隐私设定下性能与隐私之间权衡的理论分析。实验结果表明，LEASGD 在相同迭代次数内稳定地取得比最先进的去中心化学习算法 DPSGD 更低的损失，并将通信代价降低了 30%。此外，在隐私设定下，LEASGD 消耗更少的差分隐私预算，并具有比 DPSGD 更高的终末准确率。
引用
@article{arxiv.1811.11124,
title = {LEASGD: an Efficient and Privacy-Preserving Decentralized Algorithm for Distributed Learning},
author = {Hsin-Pai Cheng and Patrick Yu and Haojing Hu and Feng Yan and Shiyu Li and Hai Li and Yiran Chen},
journal= {arXiv preprint arXiv:1811.11124},
year = {2018}
}