加速广义线性预测的单遍SGD
机器学习
2026-03-03 v1 最优化与控制
机器学习
摘要
我们研究了在流式设置下的广义线性预测，其中每次迭代仅使用一个新数据点进行梯度级别的更新。虽然动量在确定性优化中已广为人知，但是否可以加速这种单遍非二次随机优化 remains是一个基本未解决的问题。我们提出了第一个成功将动量纳入的算法，通过一种新颖的数据依赖proximal方法实现双动量加速。我们的派生的剩余风险界限分为三个组成部分：改进的优化误差、次优统计误差以及更高阶的模型误差。证明通过对内部更新的细粒度stationary分析处理误差，同时通过两阶段的外循环分析局部化统计误差。结果，我们解决了Jain等人[2018a]提出的开放问题，表明在流式设置下，动量加速比方差缩减更有效。
引用
@article{arxiv.2603.01951,
title = {Accelerating Single-Pass SGD for Generalized Linear Prediction},
author = {Qian Chen and Shihong Ding and Cong Fang},
journal= {arXiv preprint arXiv:2603.01951},
year = {2026}
}
备注
50 pages