小步与大跃：用于深度学习的极小牛顿求解器
机器学习
2018-05-22 v1 计算机视觉与模式识别
数值分析
机器学习
摘要
我们提出一种快速二阶方法，可用作当前深度学习求解器的直接替代。与随机梯度下降（SGD）相比，它每次迭代仅需要两次额外的正向模式自动微分操作，其计算成本与两次标准前向传播相当且易于实现。我们的方法解决了当前二阶求解器长期存在的问题，后者每轮迭代精确或通过共轭梯度法求逆一个近似Hessian矩阵，这一过程既昂贵又对噪声敏感。相反，我们提议保留由逆Hessian矩阵投影的梯度的单一估计，并每轮迭代更新一次。该估计大小相同且类似于SGD中常用的动量变量。不维护Hessian的估计。我们首先在具有已知闭式解的小问题（含噪Rosenbrock函数和退化2层线性网络）上验证我们的方法（称为CurveBall），当前深度学习求解器在这些问题上似乎表现不佳。然后我们在CIFAR和ImageNet上训练多个大型模型，包括ResNet和VGG-f网络，其中我们展示了无需超参数调优的更快收敛。代码已公开。
引用
@article{arxiv.1805.08095,
title = {Small steps and giant leaps: Minimal Newton solvers for Deep Learning},
author = {João F. Henriques and Sebastien Ehrhardt and Samuel Albanie and Andrea Vedaldi},
journal= {arXiv preprint arXiv:1805.08095},
year = {2018}
}