基于DG范畴的微分学习率的Hessian信息调参
机器学习
2025-05-20 v2
摘要
微分学习率（DLR）是一种对不同模型参数应用不同学习率的技术，已在深度学习中广泛应用并通过各种形式实现了经验性成功。例如，参数高效微调（PEFT）将大多数参数的学习率为零，以显著节省计算成本。核心在于，DLR利用不同参数可能具有不同损失曲率这一观察，而这在一般情况下难以表征。我们提出Hessian信息驱动的微分学习率（Hi-DLR），这是一种高效的方法，用于解决学习率的超参数优化（HPO），并以自适应方式捕获模型和优化器的损失曲率。给定适当的参数分组，我们经验性地证明Hi-DLR可以通过在训练期间动态确定学习率来提高收敛性。
关键词
引用
@article{arxiv.2501.06954,
title = {A Hessian-informed hyperparameter optimization for differential learning rate},
author = {Shiyun Xu and Zhiqi Bu and Yiliang Zhang and Ian Barnett},
journal= {arXiv preprint arXiv:2501.06954},
year = {2025}
}