带洗牌的SGD：无需分量凸性与大周期要求的最优速率
最优化与控制
2020-06-23 v2 机器学习
摘要
我们研究用于求解有限和优化问题的无放回SGD。具体地，根据有限和索引的洗牌方式，我们考虑RandomShuffle(每个周期开始时洗牌)与SingleShuffle(仅洗牌一次)算法。首先，我们建立了这些算法直至多对数因子的最小最大最优收敛速率。值得注意的是，我们的分析足够通用以涵盖梯度主导非凸代价，且不依赖于现有最优收敛结果所需的各分量函数凸性。其次，假设各分量凸性，我们进一步锐化了RandomShuffle的紧收敛结果，去除了所有先前工作共有的缺陷：结果成立所需的大量周期数，以及与下界间额外的多对数因子差距。
引用
@article{arxiv.2006.06946,
title = {SGD with shuffling: optimal rates without component convexity and large epoch requirements},
author = {Kwangjun Ahn and Chulhee Yun and Suvrit Sra},
journal= {arXiv preprint arXiv:2006.06946},
year = {2020}
}
备注
53 pages; supersedes the preprint arXiv:2004.08657; v2 corrects an erroneous claim about SingleShuffle and newly adds Theorem 24 and Appendix F for SingleShuffle