弱凸约束优化中自适应算法的收敛性
机器学习
2020-06-12 v1 机器学习
最优化与控制
摘要
我们分析了自适应一阶算法 AMSGrad，用于求解具有弱凸目标的约束随机优化问题。我们证明了 Moreau 包络梯度范数的 收敛速率，这是该类问题的标准平稳性度量。它与自适应算法在无约束光滑随机优化这一特定情形下已知的速率相匹配。我们的分析适用于批量大小为 、恒定一阶与二阶矩参数以及可能无界的优化域。最后，我们说明了我们的结果在特定问题和算法上的应用与推广。
引用
@article{arxiv.2006.06650,
title = {Convergence of adaptive algorithms for weakly convex constrained optimization},
author = {Ahmet Alacaoglu and Yura Malitsky and Volkan Cevher},
journal= {arXiv preprint arXiv:2006.06650},
year = {2020}
}