面向含噪标签神经网络鲁棒训练的核心集方法
机器学习
2020-11-17 v1 机器学习
摘要
现代神经网络容易过拟合现实世界数据集中常见的含噪标签。尽管已取得很大进展，现有技术在为含噪标签训练的神经网络性能提供理论保证方面仍存在局限。本文提出一种具有强理论保证的新方法，用于含噪标签下深度网络的鲁棒训练。我们方法的核心思想是选取能提供近似低秩雅可比矩阵的高质量数据点加权子集（核心集）。随后我们证明，对这些子集施加梯度下降不会过拟合含噪标签。大量实验验证了我们的理论，并表明在我们的子集上训练的深度网络相比最先进方法取得了显著更优的性能，例如在含 80% 含噪标签的 CIFAR-10 上准确率提升 6%，在 mini Webvision 上准确率提升 7%。
引用
@article{arxiv.2011.07451,
title = {Coresets for Robust Training of Neural Networks against Noisy Labels},
author = {Baharan Mirzasoleiman and Kaidi Cao and Jure Leskovec},
journal= {arXiv preprint arXiv:2011.07451},
year = {2020}
}