面向利用特征嵌入实现带噪标签鲁棒学习的研究
机器学习
2022-06-28 v1 人工智能
摘要
深度神经网络（DNNs）的过拟合记忆效应在近期标签噪声学习方法中起着关键作用。为利用该效应，基于模型预测的方法被广泛采用，旨在利用DNNs在学习早期阶段的输出纠正噪声标签。然而，我们观察到模型在标签预测时会出错，导致性能不理想。相比之下，学习早期阶段产生的特征表现出更好的鲁棒性。受此观察启发，本文提出一种新颖的基于特征嵌入的标签噪声深度学习方法，称为标签噪声稀释（LabEl NoiseDilution, LEND）。具体而言，我们首先基于当前嵌入特征计算相似度矩阵以捕获训练数据的局部结构。随后，被错误标注数据所携带的噪声监督信号被邻近正确标注数据所淹没（即标签噪声稀释），其有效性由特征嵌入的固有鲁棒性保证。最后，具有稀释标签的训练数据被进一步用于训练鲁棒分类器。我们通过实验在合成与真实世界噪声数据集上将LEND与若干代表性鲁棒学习方法进行比较。结果验证了LEND的有效性。
引用
@article{arxiv.2206.13025,
title = {Towards Harnessing Feature Embedding for Robust Learning with Noisy Labels},
author = {Chuang Zhang and Li Shen and Jian Yang and Chen Gong},
journal= {arXiv preprint arXiv:2206.13025},
year = {2022}
}
备注
Accepted to Machine Learning, 2022