针对Lipschitz连续损失函数带有数值误差和自适应步长的扰动迭代SGD
最优化与控制
2025-09-10 v8 机器学习
摘要
受有限精度算术环境下神经网络训练的启发，本工作研究了在存在数值误差的环境中使用自适应步长的扰动迭代SGD的收敛性。考虑一个一般的随机Lipschitz连续损失函数，证明了到Clarke驻点的渐近收敛结果，以及在期望下到近似驻点的非渐近收敛。假设除了计算SGD步骤本身的误差外，只能计算损失函数随机梯度的近似值。
引用
@article{arxiv.2211.04655,
title = {Perturbed Iterate SGD for Lipschitz Continuous Loss Functions with Numerical Error and Adaptive Step Sizes},
author = {Michael R. Metel},
journal= {arXiv preprint arXiv:2211.04655},
year = {2025}
}