仅梯度线搜索：概率线搜索的一种替代方案
机器学习
2020-04-07 v2 机器学习
摘要
神经网络训练中的步长很大程度上由预定规则（如固定学习率和学习率调度）决定。这些规则需要用户输入或昂贵的全局优化策略来确定其函数形式及相关的超参数。线搜索能够自适应地确定学习率调度。然而，由于小批量子采样引起的不连续性，它们已基本不再受欢迎。尽管如此，概率线搜索在有限空间域上使用统计代理，近期已证明在解决随机损失函数的学习率方面具有可行性。本文引入一种替代范式，即不精确的仅梯度线搜索（GOLS-I），作为自动确定随机损失函数中跨越15个数量级学习率的替代策略，且无需使用代理。我们表明GOLS-I是一种有竞争力的策略，可可靠地确定步长，在性能方面带来高价值，同时易于实现。
引用
@article{arxiv.1903.09383,
title = {Gradient-only line searches: An Alternative to Probabilistic Line Searches},
author = {Dominic Kafka and Daniel Wilke},
journal= {arXiv preprint arXiv:1903.09383},
year = {2020}
}
备注
25 Pages, 12 Figures, to be submitted to a journal