早停如何助力抵御标签噪声的泛化？
机器学习
2020-09-09 v3 机器学习
摘要
噪声标签在真实世界训练数据中非常普遍，其因对噪声标签的过拟合而导致在测试数据上泛化不佳。本文中，我们主张此类过拟合可通过在噪声标签被严重记忆之前“早停”训练深度神经网络来避免。随后，我们使用“最大安全集”恢复训练该早停网络，该安全集自早停点起在每个 epoch 维护一组几乎确定为真标签的样本集合。综上，我们新颖的两阶段训练方法称为 Prestopping，可在任意类型标签噪声下实现无噪训练以供实际使用。使用四个图像基准数据集的广泛实验验证，在真实世界噪声存在下，我们的方法在测试误差上以 0.4-8.2 个百分点显著优于四种最先进方法。
引用
@article{arxiv.1911.08059,
title = {How does Early Stopping Help Generalization against Label Noise?},
author = {Hwanjun Song and Minseok Kim and Dongmin Park and Jae-Gil Lee},
journal= {arXiv preprint arXiv:1911.08059},
year = {2020}
}
备注
International Conference on Machine Learning, Workshop on Uncertainty and Robustness in Deep Learning. See: https://sites.google.com/view/udlworkshop2020/home