不要衰减学习率，增大批量大小

衰减学习率是常见做法。本文中我们表明，通常在训练过程中通过增大批量大小亦可获得在训练集与测试集上相同的学习曲线。该过程对随机梯度下降（SGD）、带动量的SGD、Nesterov动量以及Adam均有效。它在相同训练轮数后达到同等的测试准确率，但参数更新更少，从而带来更强的并行性与更短的训练时间。我们可通过增大学习率 $\epsilon$ 并缩放批量大小 $B \propto \epsilon$ 来进一步减少参数更新次数。最后，可增大动量系数 $m$ 并缩放 $B \propto 1/(1-m)$，尽管这往往略微降低测试准确率。关键在于，我们的技术使我们能够重新利用现有训练调度方案进行大批量训练而无需超参数调优。我们在 ImageNet 上以不到30分钟训练 ResNet-50 达到 $76.1\%$ 验证准确率。