光滑凸替代函数的二分类超额风险
机器学习
2014-02-11 v1 机器学习
摘要
在统计学习理论中，0-1 损失的凸替代函数因其带来的计算和理论优势而备受青睐。如果我们考虑光滑替代函数，这一点尤为重要，因为光滑性不仅在计算上有益——通过获得优化的最优收敛速率，而且在统计意义上有益——通过提供改进的乐观泛化界。本文从统计一致性的角度研究光滑性性质，并展示其如何影响二分类超额风险。我们表明，与有利于选择光滑替代损失函数的优化误差和泛化误差相反，损失函数的光滑性可能会降低二分类超额风险。受这一负面结果的启发，我们提供了一种统一分析，在考察光滑性对二分类超额风险的影响时，整合了优化误差、泛化界以及将凸超额风险转化为二分类超额风险时的误差。我们证明，在有利条件下，适当选择光滑凸损失函数将产生优于 的二分类超额风险。
引用
@article{arxiv.1402.1792,
title = {Binary Excess Risk for Smooth Convex Surrogates},
author = {Mehrdad Mahdavi and Lijun Zhang and Rong Jin},
journal= {arXiv preprint arXiv:1402.1792},
year = {2014}
}