LALR：回归与神经网络中Lipschitz自适应学习率的理论与实验验证
机器学习
2020-06-25 v1 机器学习
摘要
我们针对平均绝对误差损失函数与分位数损失函数提出一种自适应学习率策略的理论框架，并评估其在回归任务中的有效性。该框架基于Lipschitz连续性理论，具体利用损失函数的学习率与Lipschitz常数之间的关系。基于实验，我们发现该自适应学习率策略相比恒定学习率策略可实现高达20倍的更快收敛。
引用
@article{arxiv.2006.13307,
title = {LALR: Theoretical and Experimental validation of Lipschitz Adaptive Learning Rate in Regression and Neural Networks},
author = {Snehanshu Saha and Tejas Prashanth and Suraj Aralihalli and Sumedh Basarkod and T. S. B Sudarshan and Soma S Dhavala},
journal= {arXiv preprint arXiv:2006.13307},
year = {2020}
}
备注
Accepted in IJCNN 2020