Polyak步长梯度下降的统计与计算复杂度研究
机器学习
2021-10-18 v1 统计理论
机器学习
统计理论
摘要
我们研究了在总体损失函数的广义光滑性和Lojasiewicz条件（即样本量趋于无穷时经验损失函数的极限），以及经验损失与总体损失函数梯度之间的稳定性（即样本与总体损失函数梯度之间集中界的多项式增长）下，Polyak步长梯度下降算法的统计与计算复杂度。我们证明，Polyak步长梯度下降迭代在关于样本量的对数次迭代后，即可达到围绕真实参数的最终统计收敛半径。当总体损失函数非局部强凸时，这比固定步长梯度下降算法达到相同最终统计半径所需的关于样本量的多项式次迭代在计算上更为经济。最后，我们通过三个统计实例阐释了一般理论：广义线性模型、混合模型和混合线性回归模型。
引用
@article{arxiv.2110.07810,
title = {Towards Statistical and Computational Complexities of Polyak Step Size Gradient Descent},
author = {Tongzheng Ren and Fuheng Cui and Alexia Atsidakou and Sujay Sanghavi and Nhat Ho},
journal= {arXiv preprint arXiv:2110.07810},
year = {2021}
}
备注
First three authors contributed equally. 40 pages, 4 figures