Sub-Weibull噪声与Polyak-Łojasiewicz条件下的在线随机梯度方法
最优化与控制
2024-07-16 v2 系统与控制
系统与控制
摘要
本文关注带有随机梯度误差的在线梯度与近端梯度方法。具体而言，我们考察了当代价函数满足Polyak-Łojasiewicz (PL) 不等式时在线梯度下降方法的性能。我们给出了期望意义下与高概率意义下（逐迭代成立）的界，其中后者通过利用影响梯度的误差的sub-Weibull模型导出。收敛结果表明，瞬时遗憾（regret）线性收敛至一个依赖于问题变异性与sub-Weibull梯度误差统计量的误差项。随后，在复合代价满足近端PL条件的假设下，给出了在线近端梯度方法的类似收敛结果。对于静态代价情形，当梯度误差被建模为sub-Weibull随机变量时，我们给出了这些方法所产生遗憾的新界。文中提供了说明性仿真以佐证理论发现。
引用
@article{arxiv.2108.03285,
title = {Online Stochastic Gradient Methods Under Sub-Weibull Noise and the Polyak-{\L}ojasiewicz Condition},
author = {Seunghyun Kim and Liam Madden and Emiliano Dall'Anese},
journal= {arXiv preprint arXiv:2108.03285},
year = {2024}
}