机器学习中的方差缩减方法
机器学习
2020-10-05 v1 最优化与控制
机器学习
摘要
随机优化处于机器学习的核心，其基石是 60 多年前引入的随机梯度下降（SGD）。过去 8 年见证了一个令人兴奋的新进展：随机优化方法的方差缩减（VR）。这些 VR 方法在允许对训练数据多遍遍历的设置中表现出色，在理论与实践中均比 SGD 实现更快的收敛。这些加速凸显了对 VR 方法的兴趣激增以及关于该主题快速增长的文献体。本综述涵盖针对有限数据集优化的 VR 方法背后的关键原理与主要进展，面向非专业读者。我们主要关注凸设置，并为有兴趣扩展至最小化非凸函数的读者提供指引。
引用
@article{arxiv.2010.00892,
title = {Variance-Reduced Methods for Machine Learning},
author = {Robert M. Gower and Mark Schmidt and Francis Bach and Peter Richtarik},
journal= {arXiv preprint arXiv:2010.00892},
year = {2020}
}
备注
16 pages, 7 figures, 1 table