PyTorch 中随机拟牛顿法的实现
机器学习
2018-05-08 v1 最优化与控制
机器学习
摘要
本文针对随机非凸优化实现了随机阻尼 LBFGS (SdLBFGS)。我们对原始 SdLBFGS 算法做了两处重要改进。首先，通过在每一步使用单位矩阵初始化 Hessian 矩阵，算法比原始算法收敛更好。其次，通过执行方向归一化，我们可以在不进行线搜索的情况下获得稳定的优化过程。在最小化二维非凸函数上的实验表明，我们改进的算法比原始算法收敛更好；在 CIFAR10 和 MNIST 数据集上的实验表明，我们改进的算法工作稳定，并给出与 PyTorch 中的一阶优化器 SGD、Adagrad 以及二阶优化器 LBFGS 相当甚至更好的测试精度。
引用
@article{arxiv.1805.02338,
title = {Implementation of Stochastic Quasi-Newton's Method in PyTorch},
author = {Yingkai Li and Huidong Liu},
journal= {arXiv preprint arXiv:1805.02338},
year = {2018}
}