理解并改进用于带噪标签学习的早停法
机器学习
2021-12-28 v2
摘要
深度神经网络 (DNN) 的记忆效应在许多最先进 (SOTA) 的标签噪声学习方法中起着关键作用。为利用此性质,通常采用早停技巧,即在训练早期阶段停止优化。当前方法一般将 DNN 视为整体来决定早停点。然而,DNN 可视为一系列层的组合,我们发现 DNN 中后层对标签噪声敏感得多,而前层则相当鲁棒。因此,为整个网络选择停止点可能使不同 DNN 层相互拮抗地影响,从而降低最终性能。在本文中,我们提出将 DNN 分离为不同部分并渐进式训练它们以解决此问题。与一次性训练整个 DNN 的早停不同,我们最初通过相对较大轮数优化 DNN 来训练前层。在训练期间,我们通过使用较小轮数并固定前面层来渐进式训练后层,以抵消噪声标签的影响。我们将所提方法称为渐进式早停 (PES)。尽管简单,与早停相比,PES 有助于获得更有前景且稳定的结果。此外,通过将 PES 与现有的噪声标签训练方法结合,我们在图像分类基准上取得了 SOTA 性能。
引用
@article{arxiv.2106.15853,
title = {Understanding and Improving Early Stopping for Learning with Noisy Labels},
author = {Yingbin Bai and Erkun Yang and Bo Han and Yanhua Yang and Jiatong Li and Yinian Mao and Gang Niu and Tongliang Liu},
journal= {arXiv preprint arXiv:2106.15853},
year = {2021}
}
备注
NeurIPS 2021