非光滑凸损失下随机梯度下降的稳定性
机器学习
2020-06-15 v1 最优化与控制
机器学习
摘要
一致稳定性是算法稳定性的一种概念，它限定了当数据集中单个数据点被替换时，算法输出的模型在最坏情况下的变化。Hardt等人（2016）的一项有影响力的工作对随机梯度下降（SGD）算法在充分光滑的凸损失上的一致稳定性给出了强上界。这些结果在推动理解SGD的泛化性质以及若干面向光滑损失的差分隐私凸优化应用方面取得了重要进展。我们的工作是首个讨论SGD在{\em 非光滑}凸损失上一致稳定性的研究。具体而言，我们针对任意Lipschitz非光滑凸损失，为多种形式的SGD和全批量GD给出了紧致的上界和下界。我们的下界表明，在非光滑情形下，(S)GD固有的稳定性可能低于光滑情形。另一方面，我们的上界表明(S)GD具有足够的稳定性，可用于推导新的、有用的泛化误差界。最值得注意的是，我们获得了非光滑情形下多遍SGD的首个维数无关的泛化界。此外，我们的界使我们能够推导出一种用于差分隐私非光滑随机凸优化的新算法，该算法具有最优的额外总体风险。我们的算法比已知最好的非光滑情形算法Feldman等人（2020）更简单且更高效。
引用
@article{arxiv.2006.06914,
title = {Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses},
author = {Raef Bassily and Vitaly Feldman and Cristóbal Guzmán and Kunal Talwar},
journal= {arXiv preprint arXiv:2006.06914},
year = {2020}
}
备注
32 pages