有偏 SGD 动物园指南
机器学习
2023-05-26 v1
摘要
随机梯度下降（SGD）可以说是现代机器学习中最重要的单一算法。尽管带有无偏梯度估计器的 SGD 已被广泛研究至少半个世纪，依赖有偏估计器的 SGD 变体却很罕见。然而，近年来对此课题的兴趣有所增加。然而，现有关于带偏估计器的 SGD（BiasedSGD）的文献缺乏连贯性，因为每篇新论文依赖一组不同的假设，且对这些假设如何关联并无清晰理解，这可能导致混淆。我们通过建立现有假设间的联系并呈现底层关系的综合图谱来弥补这一空白。此外，我们引入了一组可证明弱于所有先前假设的新假设，并用它在凸和非凸设定下对 BiasedSGD 进行透彻分析，相较先前结果具有优势。我们还提供了有偏估计器优于无偏对应物或根本无法获得无偏版本的例子。最后，我们通过验证理论发现的实验结果展示了我们框架的有效性。
引用
@article{arxiv.2305.16296,
title = {A Guide Through the Zoo of Biased SGD},
author = {Yury Demidovich and Grigory Malinovsky and Igor Sokolov and Peter Richtárik},
journal= {arXiv preprint arXiv:2305.16296},
year = {2023}
}
备注
55 pages, 2 figures, 10 tables