方差缩减随机镜像下降的隐式正则化性质
机器学习
2022-08-30 v1 机器学习
摘要
在机器学习和统计数据分析中，我们经常遇到求和形式的目标函数：求和项的数量可能等于样本量，而样本量可能极其巨大。在此情形下，随机镜像下降（SMD）算法是一种数值高效的方法——每次迭代仅涉及极少量数据。SMD的方差缩减版本（VRSMD）可通过诱导更快的收敛进一步改进SMD。另一方面，梯度下降和随机梯度下降等算法具有隐式正则化性质，从而在泛化误差方面带来更好的表现。关于VRSMD是否也具有此种性质，目前所知甚少。本文我们证明离散VRSMD估计序列在线性回归中收敛到最小镜像插值解。这确立了VRSMD的隐式正则化性质。作为上述结果的应用，我们在真实模型稀疏的设定下推导出一个模型估计精度结果。我们使用数值例子来说明VRSMD的实证效力。
引用
@article{arxiv.2205.00058,
title = {Implicit Regularization Properties of Variance Reduced Stochastic Mirror Descent},
author = {Yiling Luo and Xiaoming Huo and Yajun Mei},
journal= {arXiv preprint arXiv:2205.00058},
year = {2022}
}