面向流式线性与ReLU系统且存在对抗性扰动的随机梯度下降
机器学习
2025-01-20 v2 数值分析
数值分析
机器学习
摘要
我们提出了SGD-exp，一种针对完全流式设置下Massart噪声（对抗性半随机破坏模型）的线性和ReLU回归的随机梯度下降方法。我们展示了SGD-exp在高达50%的Massart破坏率下，以及在对称无意识破坏情况下的任意破坏率下，对真实参数具有新颖的近乎线性收敛保证。这是流式设置下鲁棒ReLU回归的第一个收敛保证结果，并且由于选择了指数衰减步长（在实践中以其高效性而闻名），它显示了比先前鲁棒线性回归方法更快的收敛速度。我们的分析基于离散随机过程的漂移分析，这本身也可能具有独立意义。
引用
@article{arxiv.2403.01204,
title = {Stochastic gradient descent for streaming linear and rectified linear systems with adversarial corruptions},
author = {Halyun Jeong and Deanna Needell and Elizaveta Rebrova},
journal= {arXiv preprint arXiv:2403.01204},
year = {2025}
}
备注
Submitted to a journal