释放正则化策略在带噪标签学习中的潜力
机器学习
2023-07-12 v1 人工智能
计算机视觉与模式识别
摘要
近年来，关于带噪标签学习的研究集中于设计新颖算法，以在对噪声训练标签具有鲁棒性的同时泛化到干净数据。这些算法常结合复杂技术，如噪声建模、标签修正与协同训练。本研究中，我们证明一个使用交叉熵损失的简单基线，结合学习率衰减、模型权重平均与数据增强等广泛使用正则化策略，可以优于最先进方法。我们的发现表明，采用正则化策略组合比复杂算法更能有效应对带噪标签学习的挑战。尽管其中部分正则化策略已在先前带噪标签学习研究中使用，其全部潜力尚未被充分挖掘。我们的结果鼓励对带噪标签学习的基准进行重新评估，并促使重新审视专为带噪标签训练设计的专用学习算法的作用。
引用
@article{arxiv.2307.05025,
title = {Unleashing the Potential of Regularization Strategies in Learning with Noisy Labels},
author = {Hui Kang and Sheng Liu and Huaxi Huang and Jun Yu and Bo Han and Dadong Wang and Tongliang Liu},
journal= {arXiv preprint arXiv:2307.05025},
year = {2023}
}