中文

关于铰链损失最小化的抗错误性

机器学习 2020-12-03 v1

摘要

机器学习中常用的分类算法(如支持向量机)会在训练样本上最小化凸替代损失。在实践中,这些算法对训练数据中的错误表现出令人惊讶的鲁棒性。本工作中,我们确定了数据上的一组条件,在此条件下此类替代损失最小化算法可证明地学习到正确的分类器。这使我们能够在一个统一框架下,建立这些算法在不同数据与错误模型下的鲁棒性。特别地,我们表明:若数据以略微非平凡的间隔(即对 dd 维单位向量,间隔至少为 C/dC/\sqrt{d})线性可分,且类条件分布近似各向同性与对数凹,则即使有常数比例的样本被对抗性地错误标注,替代损失最小化在未被损坏的数据上仍具有可忽略的误差。

关键词

引用

@article{arxiv.2012.00989,
  title  = {On the Error Resistance of Hinge Loss Minimization},
  author = {Kunal Talwar},
  journal= {arXiv preprint arXiv:2012.00989},
  year   = {2020}
}