平均稳定性对数据预处理不变。对指数凹经验风险最小化的启示
机器学习
2017-04-18 v4
摘要
我们证明了由\cite{kearns1999algorithmic, bousquet2002stability}引入的平均稳定性概念，对于包含大多数已知指数凹(exp-concave)损失的广泛广义线性模型类，对数据预处理是不变的。换言之，当分析给定算法的稳定性速率时，我们可以假定数据的最优预处理。这意味着，至少从统计角度看，为了补偿病态条件数据并不需要显式正则化，这与通过分析广义线性模型样本复杂度时包含正则化的通用方法相反。我们发现的几个重要启示包括：a) 我们证明经验风险最小化(ERM)的超额风险由预处理后的稳定性速率控制。这立即给出了我们背景下ERM达到快速率的相对简短而优雅的证明。b) 我们加强了\cite{hardt2015train}近期关于随机梯度下降算法稳定性速率的界。
引用
@article{arxiv.1601.04011,
title = {Average Stability is Invariant to Data Preconditioning. Implications to Exp-concave Empirical Risk Minimization},
author = {Alon Gonen and Shai Shalev-Shwartz},
journal= {arXiv preprint arXiv:1601.04011},
year = {2017}
}