关于铰链损失最小化的抗错误性
机器学习
2020-12-03 v1
摘要
机器学习中常用的分类算法(如支持向量机)会在训练样本上最小化凸替代损失。在实践中,这些算法对训练数据中的错误表现出令人惊讶的鲁棒性。本工作中,我们确定了数据上的一组条件,在此条件下此类替代损失最小化算法可证明地学习到正确的分类器。这使我们能够在一个统一框架下,建立这些算法在不同数据与错误模型下的鲁棒性。特别地,我们表明:若数据以略微非平凡的间隔(即对 维单位向量,间隔至少为 )线性可分,且类条件分布近似各向同性与对数凹,则即使有常数比例的样本被对抗性地错误标注,替代损失最小化在未被损坏的数据上仍具有可忽略的误差。
引用
@article{arxiv.2012.00989,
title = {On the Error Resistance of Hinge Loss Minimization},
author = {Kunal Talwar},
journal= {arXiv preprint arXiv:2012.00989},
year = {2020}
}