标签平滑的馈赠：标签噪声下基于辅助分类器的自适应标签平滑鲁棒训练
机器学习
2022-11-30 v2 人工智能
摘要
由于深度神经网络容易过拟合噪声标签，在存在噪声标签情况下的鲁棒训练正成为现代深度学习中的重要挑战。尽管现有方法从多个方向解决了该问题，但由于其依赖于被噪声标签破坏的特征提取器所估计的后验信息，仍会产生不可预测的次优结果。Lipschitz 正则化通过训练鲁棒的特征提取器成功缓解了此问题，但其需要更长的训练时间与高昂的计算开销。受此启发，我们提出一种简单而有效的方法 ALASCA，可高效地在标签噪声下提供鲁棒的特征提取器。ALASCA 集成了两个关键要素：(1) 基于我们的理论分析（标签平滑隐式诱导 Lipschitz 正则化）的自适应标签平滑；(2) 能够以可忽略的计算量实际施加中间 Lipschitz 正则化的辅助分类器。我们对 ALASCA 进行了广泛的实验，并将所提方法与以往的噪声鲁棒方法在多个合成与真实世界数据集上结合。实验结果表明，我们的框架在效率上持续提升了特征提取器的鲁棒性与现有基线的性能。我们的代码见 https://github.com/jongwooko/ALASCA。
引用
@article{arxiv.2206.07277,
title = {A Gift from Label Smoothing: Robust Training with Adaptive Label Smoothing via Auxiliary Classifier under Label Noise},
author = {Jongwoo Ko and Bongsoo Yi and Se-Young Yun},
journal= {arXiv preprint arXiv:2206.07277},
year = {2022}
}
备注
THE 37TH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE (AAAI-23)