一种改进的有限内存 Nesterov 加速拟牛顿法
最优化与控制
2021-12-03 v1 机器学习
摘要
Nesterov 加速拟牛顿 (L)NAQ 方法已在多个神经网络 (NN) 应用中显示出可利用 Nesterov 加速梯度来加速传统的 (L)BFGS 拟牛顿法。然而，每次迭代计算两个梯度增加了计算成本。动量加速拟牛顿 (MoQ) 方法表明，Nesterov 加速梯度可近似为过去梯度的线性组合。本文将该 MoQ 近似推广到有限内存 NAQ，并在函数逼近问题上评估其性能。
引用
@article{arxiv.2112.01327,
title = {A modified limited memory Nesterov's accelerated quasi-Newton},
author = {S. Indrapriyadarsini and Shahrzad Mahboubi and Hiroshi Ninomiya and Takeshi Kamio and Hideki Asai},
journal= {arXiv preprint arXiv:2112.01327},
year = {2021}
}
备注
Abstract presented at the NOLTA Society Conference, IEICE, Japan