在带噪声标签数据上训练且具有泛化保证的简单有效正则化方法
机器学习
2020-10-06 v4 神经与进化计算
机器学习
摘要
已知由简单一阶方法训练的过参数化深度神经网络能够拟合数据的任意标签。当存在误标训练样本时，这种过拟合能力会阻碍泛化。另一方面，诸如早停之类的简单正则化方法在这些场景下常能在干净测试数据上取得高度非平凡的性能，这一现象在理论上尚未被理解。本文提出并分析了两种简单直观的正则化方法：（i）以网络参数到初始化的距离作为正则化，以及（ii）为每个训练样本在网络输出中添加一个可训练的辅助变量。理论上，我们证明使用这两种方法之一的梯度下降训练，尽管使用噪声标签训练，仍能在干净数据分布上得到泛化保证。我们的泛化分析依赖于宽神经网络与神经切线核（NTK）之间的联系。该泛化界与网络大小无关，并且可与无标签噪声时所能得到的界相媲美。实验结果验证了这些方法在带噪声标签数据集上的有效性。
引用
@article{arxiv.1905.11368,
title = {Simple and Effective Regularization Methods for Training on Noisily Labeled Data with Generalization Guarantee},
author = {Wei Hu and Zhiyuan Li and Dingli Yu},
journal= {arXiv preprint arXiv:1905.11368},
year = {2020}
}
备注
International Conference on Learning Representations (ICLR) 2020