自适应分层超梯度下降
机器学习
2021-05-12 v3 神经与进化计算
摘要
在本研究中，我们基于超梯度下降框架考察不同层级的学习率自适应，并提出一种通过结合具有分层结构的多级学习率来自适应学习优化器参数的方法。同时，我们展示了正则化过参数化学习率与在不同层级构建自适应学习率组合之间的关系。在包括前馈网络、LeNet-5 和 ResNet-18/34 在内的若干网络架构上的实验表明，所提出的多级自适应方法能在多种情形下优于基线自适应方法。
引用
@article{arxiv.2008.07277,
title = {Adaptive Hierarchical Hyper-gradient Descent},
author = {Renlong Jie and Junbin Gao and Andrey Vasnev and Minh-Ngoc Tran},
journal= {arXiv preprint arXiv:2008.07277},
year = {2021}
}