网络宽度对大批量训练性能的影响
机器学习
2018-06-12 v1 分布式、并行与集群计算
机器学习
最优化与控制
统计计算
摘要
小批量随机梯度下降(SGD)的分布式实现受到通信开销的困扰,这归因于小批量训练固有的高频梯度更新。使用大批量训练可以减少这些开销;然而,大批量会影响 SGD 的收敛性质和泛化性能。在这项工作中,我们迈出了分析神经网络结构(宽度和深度)如何影响大批量训练性能的第一步。我们提出了新的理论结果,表明——在参数数量固定的情况下——与更深的网络相比,更宽的网络更适于快速大批量训练。我们在残差网络和全连接神经网络上进行了大量实验,结果表明,与更深的变体不同,更宽的网络可以使用更大的批量进行训练而不会引起收敛变慢。
引用
@article{arxiv.1806.03791,
title = {The Effect of Network Width on the Performance of Large-batch Training},
author = {Lingjiao Chen and Hongyi Wang and Jinman Zhao and Dimitris Papailiopoulos and Paraschos Koutris},
journal= {arXiv preprint arXiv:1806.03791},
year = {2018}
}