深度学习情境下 Armijo-like 算法的复杂性
最优化与控制
2024-12-20 v1
摘要
经典的 Armijo 回溯算法在光滑函数上实现梯度下降的最优复杂度，同时无需任何超参数调优。然而，光滑性假设不适用于深度学习优化。在本工作中，我们展示了某些 Armijo 优化器变体在更适用于深度学习的假设下实现加速和最优复杂度：即 光滑性条件和解析性。我们建立了新的对光滑常数和初始间隔的依赖关系。结果在理论上突出了 Armijo-like 条件在高度非凸问题中的强大效率。
引用
@article{arxiv.2412.14637,
title = {Complexities of Armijo-like algorithms in Deep Learning context},
author = {Bensaid Bilel},
journal= {arXiv preprint arXiv:2412.14637},
year = {2024}
}