对称标签噪声下的学习：非钳制损失的重要性
机器学习
2015-05-29 v1
摘要
凸势最小化是二分类的事实标准方法。然而，Long和Servedio [2010]证明，在对称标签噪声(SLN)下，在线性函数类上最小化任何凸势可能导致分类性能等同于随机猜测。这表面上表明凸损失不具备SLN鲁棒性。本文中，我们提出一种凸的、分类校准的损失，并证明它是SLN鲁棒的。该损失凭借其负向无界性避免了Long和Servedio [2010]的结果。该损失是铰链损失(hinge loss)的变体，其中不在零处钳制；因此，我们称之为非钳制损失(unhinged loss)。我们证明最优非钳制解等价于强正则化SVM的解，且是任何凸势的极限解；这意味着强l2正则化使大多数标准学习器具备SLN鲁棒性。实验证实了非钳制损失的SLN鲁棒性。
引用
@article{arxiv.1505.07634,
title = {Learning with Symmetric Label Noise: The Importance of Being Unhinged},
author = {Brendan van Rooyen and Aditya Krishna Menon and Robert C. Williamson},
journal= {arXiv preprint arXiv:1505.07634},
year = {2015}
}