ADAHESSIAN：一种用于机器学习的自适应二阶优化器
摘要
我们提出了 ADAHESSIAN，一种二阶随机优化算法，它通过 HESSIAN 矩阵曲率的自适应估计（ADAptive estimates of the HESSIAN）动态地纳入损失函数的曲率。与 SGD 和 Adam 等一阶方法相比，二阶算法是最强大的优化算法之一，具有更优的收敛性质。传统二阶方法的主要缺点是其每次迭代的计算量更大，且精度不如一阶方法。为解决这些问题，我们在 ADAHESSIAN 中引入了若干新颖方法，包括：（i）基于 Hutchinson 的快速方法，以较低计算开销近似曲率矩阵；（ii）均方根指数移动平均，以平滑不同迭代间 Hessian 对角线的变化；（iii）块对角平均，以降低 Hessian 对角元素的方差。我们表明，与其他自适应优化方法（包括 Adam 的变体）相比，ADAHESSIAN 以大幅优势取得了新的 SOTA 结果。具体而言，我们在 CV、NLP 和推荐系统任务上进行了广泛测试，发现 ADAHESSIAN：（i）在 Cifar10 上于 ResNets20/32 取得比 Adam 高 1.80%/1.45% 的准确率，在 ImageNet 上高 5.55%；（ii）在 IWSLT14/WMT14 上以 0.13/0.33 BLEU 分数、在 PTB/Wikitext-103 上以 2.7/1.0 PPL 超越 transformers 上的 AdamW；（iii）在 GLUE 上以 0.41 分超越 SqueezeBert 上的 AdamW；（iv）在 Criteo Ad Kaggle 数据集上于 DLRM 取得比 Adagrad 高 0.032% 的分数。重要的是，我们表明 ADAHESSIAN 每次迭代的成本与一阶方法相当，且对超参数表现出鲁棒性。
引用
@article{arxiv.2006.00719,
title = {ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning},
author = {Zhewei Yao and Amir Gholami and Sheng Shen and Mustafa Mustafa and Kurt Keutzer and Michael W. Mahoney},
journal= {arXiv preprint arXiv:2006.00719},
year = {2021}
}