权重归一化：一种加速深度神经网络训练的简单重参数化
机器学习
2016-06-07 v3 人工智能
神经与进化计算
摘要
我们提出权重归一化：一种神经网络中权重向量的重参数化，它将那些权重向量的长度与其方向解耦。通过以这种方式重参数化权重，我们改善了优化问题的条件数，并加速了随机梯度下降的收敛。我们的重参数化受批量归一化启发，但不引入小批量中样本之间的任何依赖关系。这意味着我们的方法也可以成功应用于循环模型（如 LSTMs）以及对噪声敏感的应用（如深度强化学习或生成模型），而批量归一化对这些应用不太适用。尽管我们的方法简单得多，它仍提供了完整批量归一化的很大一部分加速。此外，我们方法的计算开销更低，允许在相同时间内采取更多优化步骤。我们在有监督图像识别、生成建模和深度强化学习的应用中展示了我们方法的有用性。
引用
@article{arxiv.1602.07868,
title = {Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks},
author = {Tim Salimans and Diederik P. Kingma},
journal= {arXiv preprint arXiv:1602.07868},
year = {2016}
}