改进的 Nesterov 加速拟牛顿方法在 Tensorflow 上的实现
机器学习
2020-10-16 v1 机器学习
摘要
近期研究将 Nesterov 加速梯度法用于基于梯度的训练的加速。Nesterov 加速拟牛顿 (NAQ) 方法已被证明相比传统拟牛顿方法能大幅提高收敛速度。本文在 Tensorflow 上实现了用于非凸优化的 NAQ。对原始 NAQ 算法提出了两处修改，以确保全局收敛并消除线搜索。所提算法——mNAQ 的性能在标准非凸函数逼近基准问题以及微波电路建模问题上进行了评估。结果表明，与 AdaGrad、RMSProp、Adam 等一阶优化器以及拟牛顿法等二阶方法相比，改进算法收敛更好且更快。
引用
@article{arxiv.1910.09158,
title = {Implementation of a modified Nesterov's Accelerated quasi-Newton Method on Tensorflow},
author = {S. Indrapriyadarsini and Shahrzad Mahboubi and Hiroshi Ninomiya and Hideki Asai},
journal= {arXiv preprint arXiv:1910.09158},
year = {2020}
}
备注
Paper published in 2018 17th IEEE International Conference on Machine Learning and Applications (ICMLA)