局部 SGD 是否优于小批量 SGD？
机器学习
2020-07-21 v2 最优化与控制
机器学习
摘要
我们研究局部 SGD（亦称并行 SGD 与联邦平均），一种自然且常用的随机分布式优化方法。其理论基础目前尚不充分，我们指出在凸设定下所有现有的误差保证均被一个简单的基线——小批量 SGD 所主导。（1）对于二次目标，我们证明局部 SGD 严格主导小批量 SGD，且加速局部 SGD 对二次型是极小极大最优的；（2）对于一般凸目标，我们给出首个至少在某些情况下优于小批量 SGD 的保证；（3）我们通过给出局部 SGD 性能的下界（该下界劣于小批量 SGD 的保证）表明，局部 SGD 确实不能主导小批量 SGD。
引用
@article{arxiv.2002.07839,
title = {Is Local SGD Better than Minibatch SGD?},
author = {Blake Woodworth and Kumar Kshitij Patel and Sebastian U. Stich and Zhen Dai and Brian Bullins and H. Brendan McMahan and Ohad Shamir and Nathan Srebro},
journal= {arXiv preprint arXiv:2002.07839},
year = {2020}
}
备注
29 pages