使用随机无 Hessian 优化训练神经网络
机器学习
2013-05-02 v3 神经与进化计算
机器学习
摘要
无 Hessian (HF) 优化已成功用于训练深度自编码器和循环网络。HF 使用共轭梯度算法通过曲率-向量积来构造更新方向，其计算时间与梯度处于同一量级。在本文中，我们利用了这一特性，并研究了梯度和曲率 mini-batch 独立于数据集大小的随机 HF。我们针对这些设置修改了 Martens 的 HF，并集成了 dropout（一种防止特征检测器共适应的方法）以防范过拟合。随机无 Hessian 优化在 SGD 和 HF 之间提供了一个折中方案，在分类和深度自编码器实验中均取得了有竞争力的性能。
引用
@article{arxiv.1301.3641,
title = {Training Neural Networks with Stochastic Hessian-Free Optimization},
author = {Ryan Kiros},
journal= {arXiv preprint arXiv:1301.3641},
year = {2013}
}
备注
11 pages, ICLR 2013