Apollo：一种用于非凸随机优化的自适应逐参数对角拟牛顿法
机器学习
2021-08-23 v6 机器学习
摘要
本文介绍 Apollo，一种用于非凸随机优化的拟牛顿方法，它通过对角矩阵近似 Hessian 矩阵来动态纳入损失函数的曲率信息。重要的是，对角 Hessian 近似的更新与存储，在时间与内存上均具有线性复杂度，效率与自适应一阶优化方法相当。为处理非凸性，我们将 Hessian 替换为其修正绝对值，后者保证正定。在视觉与语言三项任务上的实验表明，Apollo 在收敛速度与泛化性能两方面均较其他随机优化方法（包括 SGD 与 Adam 的变体）取得显著提升。算法实现见 https://github.com/XuezheMax/apollo。
引用
@article{arxiv.2009.13586,
title = {Apollo: An Adaptive Parameter-wise Diagonal Quasi-Newton Method for Nonconvex Stochastic Optimization},
author = {Xuezhe Ma},
journal= {arXiv preprint arXiv:2009.13586},
year = {2021}
}
备注
Fixed errors in convergence analysis. 29 pages (plus appendix), 6 figures, 7 tables