另一种加速 SGD：在 ImageNet 上以 74.7 秒训练 ResNet-50
机器学习
2019-04-01 v1 机器学习
摘要
业界对尽可能快速执行机器学习算法的需求十分强烈，仅在过去两年中，深度学习的速度就提升了 30 倍。使用大 mini-batch 的分布式深度学习是应对这一需求的关键技术，同时也是一大挑战，因为难以在不损害精度的情况下在大型集群上实现高可扩展性。在本文中，我们介绍了应用于这一挑战的优化方法。通过在 ABCI 集群上使用 2,048 个 GPU 并应用这些方法，我们实现了 74.7 秒的训练时间。训练吞吐量超过 1.73 million images/sec，top-1 验证精度为 75.08%。
引用
@article{arxiv.1903.12650,
title = {Yet Another Accelerated SGD: ResNet-50 Training on ImageNet in 74.7 seconds},
author = {Masafumi Yamazaki and Akihiko Kasagi and Akihiro Tabuchi and Takumi Honda and Masahiro Miwa and Naoto Fukumoto and Tsuguchika Tabaru and Atsushi Ike and Kohta Nakashima},
journal= {arXiv preprint arXiv:1903.12650},
year = {2019}
}