SGD类方法的统一分析
最优化与控制
2023-03-30 v1 机器学习
摘要
本笔记关注 (Gorbunov et al., 2020) 中针对强凸光滑优化问题的 SGD 类方法统一分析的简便途径。文中讨论了不同随机一阶方法在分析上的相似性，以及该框架已有的扩展。同时也提及了该分析的局限性与若干替代方法。
引用
@article{arxiv.2303.16502,
title = {Unified analysis of SGD-type methods},
author = {Eduard Gorbunov},
journal= {arXiv preprint arXiv:2303.16502},
year = {2023}
}
备注
Part of the Encyclopedia of Optimization. 8 pages