扩充你的批次:以更大批次实现更好训练
机器学习
2019-01-29 v1 机器学习
摘要
大批次SGD对于深度神经网络训练的规模化十分重要。然而,若不精细调节超参数调度,模型的泛化能力可能受损。我们提出使用批次扩充:在同一批次内以不同数据增强复制样本实例。批次扩充起到正则化与加速作用,同时提升泛化与性能规模化。我们分析了批次扩充对梯度方差的影响,并从经验上证明其对于多种深度神经网络与数据集改善收敛。我们的结果表明批次扩充减少了达到与最先进方法相同精度所需的SGD更新次数。总体而言,这一简单而有效的方法通过允许更多计算资源并发使用,实现了更快的训练与更好的泛化。
引用
@article{arxiv.1901.09335,
title = {Augment your batch: better training with larger batches},
author = {Elad Hoffer and Tal Ben-Nun and Itay Hubara and Niv Giladi and Torsten Hoefler and Daniel Soudry},
journal= {arXiv preprint arXiv:1901.09335},
year = {2019}
}