随机加速梯度下降的混合性质
最优化与控制
2019-11-01 v1 机器学习
摘要
我们研究了随机加速梯度下降（SAGD）在最小二乘回归上的混合性质。首先，我们证明随机梯度下降（SGD）与 SAGD 模拟着相同的不变分布。受此启发，我们随后建立了 SAGD 迭代的混合率，并将其与 SGD 迭代的混合率进行比较。理论上，我们证明了在参数选取恰当且对输入分布作正则性假设的条件下，SAGD 迭代链是几何遍历的。更具体地，我们推导出一个依赖于数据分布前 4 阶矩的显式混合率。通过示例我们证明，SAGD 迭代链比由 SGD 得到的迭代链混合得更快。此外，我们强调了所建立的混合率在 SAGD 于可实目标函数上的收敛性分析中的应用。所提出的分析基于一种对随机矩阵乘积的新型非渐近分析。该理论结果通过实验得到了证实与验证。
引用
@article{arxiv.1910.14616,
title = {Mixing of Stochastic Accelerated Gradient Descent},
author = {Peiyuan Zhang and Hadi Daneshmand and Thomas Hofmann},
journal= {arXiv preprint arXiv:1910.14616},
year = {2019}
}