利用标准化损失加速深度神经网络训练
机器学习
2019-03-05 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
在加速神经网络训练方面的一项重大进展是归一化方法的发展，它使得深度模型的训练更快且准确率更高。这些进展也带来了实际挑战：例如，批归一化将单个样本的预测与批次内的其他样本绑定，导致网络严重依赖于批次大小。层归一化和组归一化依赖于数据，因此即使在测试时也必须持续使用。为了解决使用显式归一化技术所引发的问题，我们提出用一个简单的次要目标损失来替代现有的归一化方法，我们将其称为标准化损失。该公式在不同批次大小下具有灵活性和鲁棒性，且令人惊讶的是，该次要目标加速了主训练目标上的学习。由于它是一个训练损失，在测试时只需将其移除，无需进一步努力来维持归一化的激活值。我们发现，标准化损失在小规模和大规模图像分类实验中均加速了训练，适用于多种架构，并且在不同批次大小下的训练中具有极强的鲁棒性。
引用
@article{arxiv.1903.00925,
title = {Accelerating Training of Deep Neural Networks with a Standardization Loss},
author = {Jasmine Collins and Johannes Balle and Jonathon Shlens},
journal= {arXiv preprint arXiv:1903.00925},
year = {2019}
}
备注
Technical report. Results presented at WiML 2018