面向带噪标签学习的FINE样本筛选方法
机器学习
2021-10-28 v3
摘要
当数据集中含有噪声（错误）类别标签时，现代深度神经网络（DNNs）会变得脆弱。在存在噪声标签情况下的鲁棒技术可分为两类：开发噪声鲁棒函数，或通过检测噪声数据使用噪声清洗方法。近来，噪声清洗方法被视为最具竞争力的带噪标签学习算法。尽管其取得成功，其噪声标签检测器往往更多基于启发式而非理论，需要鲁棒分类器以损失值预测噪声数据。本文中，我们提出一种用于过滤标签噪声的新型检测器。与多数现有方法不同，我们关注每个数据的潜在表示动态，并利用数据gram矩阵的特征分解来度量潜在分布与各个表示之间的对齐程度。我们的框架称为通过特征向量过滤噪声样本（FINE），提供了一种具有理论保证、无导数且简便的鲁棒检测器。在该框架下，我们提出FINE的三种应用：样本选择方法、半监督学习方法以及与噪声鲁棒损失函数的协作。实验结果表明，所提方法在各种基准数据集上的三种应用中均持续优于相应基线。
引用
@article{arxiv.2102.11628,
title = {FINE Samples for Learning with Noisy Labels},
author = {Taehyeon Kim and Jongwoo Ko and Sangwook Cho and Jinhwan Choi and Se-Young Yun},
journal= {arXiv preprint arXiv:2102.11628},
year = {2021}
}
备注
The Thirty-Fifth Annual Conference on Neural Information Processing Systems (NeurIPS 2021)