面向深度学习的实用高斯-牛顿优化
机器学习
2017-06-14 v2
摘要
我们提出了一种用于前馈神经网络的高斯-牛顿矩阵的高效块对角近似。我们所得的算法与最先进的一阶优化方法相比具有竞争力，有时在优化性能上有显著改进。与一阶方法不同（其一优化参数的超参数调优通常是繁琐的过程），我们的方法即使使用默认设置也能提供良好性能。我们工作的一个侧面结果是，对于分段线性传递函数，网络目标函数可以没有可微局部极大值，这可能部分解释了为何此类传递函数有助于有效优化。
引用
@article{arxiv.1706.03662,
title = {Practical Gauss-Newton Optimisation for Deep Learning},
author = {Aleksandar Botev and Hippolyt Ritter and David Barber},
journal= {arXiv preprint arXiv:1706.03662},
year = {2017}
}
备注
ICML 2017