阶乘幂的威力：(随机)优化的新参数设置
机器学习
2023-04-13 v3 最优化与控制
机器学习
摘要
凸与非凸优化方法的收敛速率取决于诸多常数的选择，包括步长、Lyapunov 函数常数和动量常数。在本文中，我们提出将阶乘幂作为一种灵活的工具，用于定义收敛性证明中出现的常数。我们列出了这些序列所具有的若干显著性质，并展示了如何将它们应用于收敛性证明，以简化或改进动量法、加速梯度法和随机方差缩减法（SVRG）的收敛速率。
引用
@article{arxiv.2006.01244,
title = {The Power of Factorial Powers: New Parameter settings for (Stochastic) Optimization},
author = {Aaron Defazio and Robert M. Gower},
journal= {arXiv preprint arXiv:2006.01244},
year = {2023}
}