面向参数自由优化的稳定性研究
机器学习
2024-05-28 v3
摘要
超参数调优，特别是自适应梯度训练方法中合适学习率的选择，仍然是一个挑战。为解决这一挑战，本文提出一种新型参数自由优化器\textsc{AdamG}（Adam with the golden step size），旨在无需手动调参即可自动适应不同优化问题。\textsc{AdamG}的核心技术是为 AdaGrad-Norm 算法推导出的黄金步长，从而期望使 AdaGrad-Norm 保持参数自由的收敛性，并在各种优化情景下近似最优步长。为更好地评估参数自由优化器的性能，我们提出了一种新颖的评估标准“可靠性”，全面评估参数自由优化器的有效性，除经典性能标准外亦如此。实验结果表明，与其他参数自由基线方法相比，\textsc{AdamG}在各种优化任务上的表现优异，且在各类任务上始终与使用手动调优学习率的 Adam 持平。
引用
@article{arxiv.2405.04376,
title = {Towards Stability of Parameter-free Optimization},
author = {Yijiang Pang and Shuyang Yu and Bao Hoang and Jiayu Zhou},
journal= {arXiv preprint arXiv:2405.04376},
year = {2024}
}