通过分形学习率调度实现加速

在迭代一阶优化的实际应用中，学习率调度仍 notoriously 难以理解且调参代价高昂。我们展示了即便在目标为凸二次型这种看似无害的情况下，这些微妙之处依然存在。我们将数值分析文献中的一种迭代算法重新解释为所谓用于加速朴素梯度下降的切比雪夫学习率调度，并表明缓解不稳定性这一问题导致了步长的分形排序。我们提供了一些实验以挑战深度学习中对稳定学习率的常规信念：分形调度使得训练能够在局部不稳定、对目标产生负进展的更新下收敛。