方向偏置助力随机梯度下降在核回归模型中泛化
机器学习
2022-08-30 v1 机器学习
摘要
我们研究非参数统计中的随机梯度下降（SGD）算法：特别是核回归。SGD的方向偏置性质在线性回归设定中已知，本文将其推广到核回归。更具体地，我们证明具有适中且退火步长的SGD沿着对应于Gram矩阵最大特征值的特征向量的方向收敛。此外，具有适中或小步长的梯度下降（GD）沿着对应于最小特征值的特征向量的方向收敛。这些事实被称为方向偏置性质；它们或可解释SGD计算的估计器为何可能比GD计算的估计器具有更小的泛化误差。我们通过对FashionMNIST数据集的模拟研究和案例研究来展示理论的运用。
引用
@article{arxiv.2205.00061,
title = {The Directional Bias Helps Stochastic Gradient Descent to Generalize in Kernel Regression Models},
author = {Yiling Luo and Xiaoming Huo and Yajun Mei},
journal= {arXiv preprint arXiv:2205.00061},
year = {2022}
}