针对噪声标签过拟合的自步抗学习
计算机视觉与模式识别
2021-11-01 v2
摘要
由正确与损坏标签组成的噪声标签在实践中普遍存在。它们可能显著恶化卷积神经网络（CNNs）的性能，因为CNNs容易在损坏标签上过拟合。为解决此问题，受深度神经网络可能先记忆大概率正确标签数据而后记忆损坏标签样本这一观察启发，我们提出一种新颖而简单的自步抗学习框架，以抵抗损坏标签，且无需使用任何干净验证数据。所提框架首先利用CNNs的记忆效应学习一个课程，其包含置信样本并为其他训练样本提供有意义监督。然后它采用所选置信样本与一种提出的抗损失来更新模型参数；该抗损失倾向于平滑模型参数的更新或获得各类上的等价预测，从而抵抗模型在损坏标签上的过拟合。最后，我们将这两个模块统一为单一损失函数并以交替学习优化之。大量实验表明，所提框架在噪声标签数据上相对于近期最先进方法具有显著更优的性能。所提方法的源代码见 https://github.com/xsshi2015/Self-paced-Resistance-Learning。
引用
@article{arxiv.2105.03059,
title = {Self-paced Resistance Learning against Overfitting on Noisy Labels},
author = {Xiaoshuang Shi and Zhenhua Guo and Kang Li and Yun Liang and Xiaofeng Zhu},
journal= {arXiv preprint arXiv:2105.03059},
year = {2021}
}