通过D-Adaptation实现无学习率学习
机器学习
2023-07-11 v5 人工智能
最优化与控制
机器学习
摘要
D-Adaptation是一种自动设置学习率的方法，在最小化凸Lipschitz函数时渐近地达到最优收敛速率，无需回溯或线搜索，且每步不需要额外的函数值或梯度计算。我们的方法是该类问题中首个无超参数的方法，且收敛速率中没有额外的乘法对数因子。我们给出了该方法在SGD和Adam变体上的大量实验，该方法在十余项多样的机器学习任务（包括大规模视觉与语言问题）中自动匹配了手工调优的学习率。开源实现已公开可用。
引用
@article{arxiv.2301.07733,
title = {Learning-Rate-Free Learning by D-Adaptation},
author = {Aaron Defazio and Konstantin Mishchenko},
journal= {arXiv preprint arXiv:2301.07733},
year = {2023}
}