梯度多样性：可扩展分布式学习的关键要素
机器学习
2018-01-09 v3 分布式、并行与集群计算
摘要
实验观察到，小批量随机梯度下降 (SGD) 算法的分布式实现在超过特定批量大小后表现出加速饱和与泛化能力衰减。在这项工作中，我们给出一项分析，暗示并发处理梯度之间的高相似性可能是此性能退化的原因。我们引入梯度多样性的概念以度量并发梯度更新之间的不相似性，并展示其在小批量 SGD 性能中的关键作用。我们证明，在具有高梯度多样性的问题上，小批量 SGD 易于获得更好的加速，同时保持串行（单样本）SGD 的泛化性能。我们进一步建立了收敛下界，其中小批量 SGD 仅因缺乏梯度多样性而在超过特定批量大小后变慢。我们提供实验证据指明梯度多样性在分布式学习中的关键作用，并讨论诸如 dropout、Langevin 动力学与量化等启发式方法如何改善它。
引用
@article{arxiv.1706.05699,
title = {Gradient Diversity: a Key Ingredient for Scalable Distributed Learning},
author = {Dong Yin and Ashwin Pananjady and Max Lam and Dimitris Papailiopoulos and Kannan Ramchandran and Peter Bartlett},
journal= {arXiv preprint arXiv:1706.05699},
year = {2018}
}