线性回归模型中基于小批量的动量方法的渐近分析
统计方法学
2022-11-29 v1 统计理论
统计计算
统计理论
摘要
动量方法已被证明在实践和理论上都能加速标准梯度下降算法的收敛。特别是，基于小批量的动量梯度下降方法 (MGDM) 被广泛用于解决具有海量数据集的大规模优化问题。尽管 MGDM 方法在实践中取得了成功，但其理论性质仍未得到充分探索。为此，我们基于线性回归模型研究了 MGDM 方法的理论性质。我们首先研究了 MGDM 算法的数值收敛性质，并进一步提供了理论上的最优调优参数规范，以实现更快的收敛速度。此外，我们探讨了所得 MGDM 估计量的统计性质与调优参数之间的关系。基于这些理论发现，我们给出了所得估计量达到最优统计效率的条件。最后，进行了大量的数值实验来验证我们的理论结果。
引用
@article{arxiv.2111.01507,
title = {An Asymptotic Analysis of Minibatch-Based Momentum Methods for Linear Regression Models},
author = {Yuan Gao and Xuening Zhu and Haobo Qi and Guodong Li and Riquan Zhang and Hansheng Wang},
journal= {arXiv preprint arXiv:2111.01507},
year = {2022}
}
备注
45 pages, 5 figures