幂律谱条件下优化的紧收敛速率界
最优化与控制
2024-03-26 v3 机器学习
神经与进化计算
摘要
二次优化问题的性能敏感依赖于谱的低端部分。对于大规模（ effectively 无限维）问题，这部分谱通常可自然表示或近似为幂律分布，从而导致基于梯度的算法对这些问题的迭代解呈现幂律收敛速率。本文提出一种新的谱条件，为具有幂律优化轨迹的问题提供更紧的上界。我们利用该条件构建了广泛优化算法——梯度下降、最速下降、Heavy Ball 与共轭梯度——上下界的完整图景，并着重于潜在的学习率与动量调度。特别地，我们展示了对于给定的谱形状，如何以统一方式获得最优加速方法、其调度与收敛上界。此外，我们首次给出了在一般指数幂律谱下最速下降与共轭梯度收敛速率紧下界的证明。我们的实验表明，所获得的收敛界与加速策略不仅对相关于精确二次优化问题，而且在应用于神经网络训练时也相当准确。
引用
@article{arxiv.2202.00992,
title = {Tight Convergence Rate Bounds for Optimization Under Power Law Spectral Conditions},
author = {Maksim Velikanov and Dmitry Yarotsky},
journal= {arXiv preprint arXiv:2202.00992},
year = {2024}
}