关于随机损坏次梯度的归一化次梯度法的鲁棒性
最优化与控制
2021-03-23 v5
摘要
众多现代优化与机器学习算法依赖于可信的次梯度信息，因此当此类信息被损坏时，它们可能无法收敛。本文考虑次梯度信息可能以给定概率被任意损坏的情形，并研究归一化次梯度法的鲁棒性性质。在概率损坏场景下，我们证明仅依赖次梯度方向信息的归一化次梯度法，对于满足特定条件的凸、强凸和弱伪凸函数收敛到极小点。在线性回归和逻辑分类问题上的数值证据支持了我们的结果。
引用
@article{arxiv.2009.13725,
title = {On Robustness of the Normalized Subgradient Method with Randomly Corrupted Subgradients},
author = {Berkay Turan and Cesar A. Uribe and Hoi-To Wai and Mahnoosh Alizadeh},
journal= {arXiv preprint arXiv:2009.13725},
year = {2021}
}
备注
7 pages, 3 figures, submitted to ACC 2021