ADLER——一种基于 Hessian 的高效自适应学习率策略
机器学习
2023-05-29 v1 最优化与控制
摘要
我们推导了深度模型 Hessian 矩阵的一个合理的半正定近似，其 Hessian-向量乘积易于计算。这使我们能够基于局部二次近似的最小化提供自适应 SGD 学习率策略，该策略仅需单次 SGD 运行两倍的计算量，但在不同模型架构（含与不含残差连接的 CNN）的分类任务上，其表现与 SGD 学习率的网格搜索相当。我们还将这一新颖近似与高斯-牛顿近似进行了比较。
引用
@article{arxiv.2305.16396,
title = {ADLER -- An efficient Hessian-based strategy for adaptive learning rate},
author = {Dario Balboni and Davide Bacciu},
journal= {arXiv preprint arXiv:2305.16396},
year = {2023}
}
备注
6 pages, 4 figures