用于平滑在线学习的部分惰性梯度下降
机器学习
2026-05-11 v3
摘要
我们引入了\textsc{-lazyGD}，这是一种在线学习算法，它弥合了贪婪在线梯度下降(OGD, 对应)与惰性GD/对偶平均(对应)之间的差距，在反应性更新与稳定性更新之间创建了一个谱系。我们在平滑在线凸优化(SOCO)中分析了这个谱系，其中学习器同时承担击中成本和移动成本。我们的主要贡献是确立了惰性可以在不牺牲击中性能的情况下实现：我们证明，对于任何惰性松弛度，只要不超过，\textsc{-lazyGD}都能实现最优动态遗憾，其中是比较器路径长度。这一结果正式地将允许的惰性与比较器的变化联系起来，表明\textsc{-lazyGD}能够在不损害跟踪能力的情况下，保留惰性方法固有的小幅度移动。我们基于跟随正则化领导者(FTRL)框架进行分析，并推导出匹配的下界。由于松弛度依赖于，我们使用了一个由具有不同松弛度的学习器组成的集成，从而产生了一种在可能时被证明是稳定的，在必要时是敏捷的方法。
引用
@article{arxiv.2601.15984,
title = {Partially Lazy Gradient Descent for Smoothed Online Learning},
author = {Naram Mhaisen and George Iosifidis},
journal= {arXiv preprint arXiv:2601.15984},
year = {2026}
}