eagle：基于早期近似梯度的学习率估计器
机器学习
2025-02-04 v1 人工智能
摘要
我们提出 EAGLE update rule，这是一种 novel 的优化方法，通过利用当前和前一步的参数和梯度值来加速训练早期阶段的损失收敛。该更新算法通过计算连续训练步骤之间参数和梯度的变化，并利用这些变化导出的损失景观局部曲率来估计最优参数。然而，这一 update rule 可能不稳定，因此我们引入一种自适应切换机制，动态选择 Adam 和 EAGLE update rule 以提升训练稳定性。在标准基准数据集上的实验表明，结合该 novel update rule 和切换机制的 EAGLE optimizer 能够以更少的 epoch 实现快速训练损失收敛，优于常规优化方法。
引用
@article{arxiv.2502.01036,
title = {eagle: early approximated gradient based learning rate estimator},
author = {Takumi Fujimoto and Hiroaki Nishi},
journal= {arXiv preprint arXiv:2502.01036},
year = {2025}
}
备注
43pages, 24figures