希尔伯特尺度下的随机梯度下降：光滑性、预处理与更早停止
机器学习
2020-06-22 v1 机器学习
统计理论
统计理论
摘要
随机梯度下降（SGD）已成为解决广泛机器学习问题的首选方法。然而，其某些学习性质仍未被完全理解。我们考虑再生核希尔伯特空间（RKHS）中的最小二乘学习，并将经典 SGD 分析扩展至希尔伯特尺度下的学习设定，包括紧黎曼流形上的 Sobolev 空间与扩散空间。我们表明，即便对良指定模型，对传统基准光滑性假设的违背也会对学习率产生巨大影响。此外，我们展示对于误指定模型，在适当的希尔伯特尺度下预处理有助于减少迭代次数，即允许“更早停止”。
引用
@article{arxiv.2006.10840,
title = {Stochastic Gradient Descent in Hilbert Scales: Smoothness, Preconditioning and Earlier Stopping},
author = {Nicole Mücke and Enrico Reiss},
journal= {arXiv preprint arXiv:2006.10840},
year = {2020}
}