批量大小的极限
机器学习
2020-06-16 v1 计算机视觉与模式识别
分布式、并行与集群计算
机器学习
摘要
大批量训练是当前分布式深度学习系统的高效方法。它已使研究者将 ImageNet/ResNet-50 训练从 29 小时缩短至约 1 分钟。本文聚焦于研究批量大小的极限。我们认为这可为 AI 超级计算机与算法设计者提供指导。我们提供了逐步比较的详细数值优化说明。此外,理解超大批量训练的泛化与优化性能十分重要。Hoffer 等人将“超慢扩散(ultra-slow diffusion)”理论引入大批量训练。然而,我们的实验显示出与 Hoffer 等人结论相矛盾的结果。我们提供了全面的实验结果和详细分析,以研究批量大小扩展与“超慢扩散”理论的局限性。我们首次将 ImageNet 上的批量大小扩展到比以往所有工作至少大一个数量级,并在此设置下对许多 state-of-the-art 优化方案的性能进行了详细研究。我们提出了一种优化方案,相比基线能将 top-1 测试准确率提高 18%。
引用
@article{arxiv.2006.08517,
title = {The Limit of the Batch Size},
author = {Yang You and Yuhui Wang and Huan Zhang and Zhao Zhang and James Demmel and Cho-Jui Hsieh},
journal= {arXiv preprint arXiv:2006.08517},
year = {2020}
}