一种随机方差缩减的涅斯捷罗夫加速拟牛顿方法
机器学习
2020-10-16 v1 机器学习
摘要
近年来，融合二阶曲率信息的算法在神经网络训练中变得流行。涅斯捷罗夫加速拟牛顿（NAQ）方法通过引入动量项与涅斯捷罗夫加速梯度向量，已证明能有效加速 BFGS 拟牛顿方法。针对大规模问题的训练，人们提出了 NAQ 方法的随机版本。然而，该方法产生了较高的随机方差噪声。本文提出了完整（SVR-NAQ）与有限内存（SVRLNAQ）两种形式的随机方差缩减涅斯捷罗夫加速拟牛顿方法。所提方法的性能在 Tensorflow 上于四个基准问题（分别为两个回归和两个分类问题）进行了评估。结果显示相比传统方法性能有所提升。
引用
@article{arxiv.1910.07939,
title = {A Stochastic Variance Reduced Nesterov's Accelerated Quasi-Newton Method},
author = {Sota Yasuda and Shahrzad Mahboubi and S. Indrapriyadarsini and Hiroshi Ninomiya and Hideki Asai},
journal= {arXiv preprint arXiv:1910.07939},
year = {2020}
}
备注
Accepted in ICMLA 2019