利用弃权机制对抗深度学习中的标签噪声
机器学习
2019-08-05 v2 机器学习
摘要
我们提出一种在训练深度神经网络进行分类时对抗标签噪声的新方法。我们提出一种允许在训练中弃权的损失函数，从而使 DNN 能在混淆样本上弃权，同时继续学习并提升非弃权样本上的分类性能。我们展示了这种深度弃权分类器（DAC）如何用于在不同类型标签噪声下的鲁棒学习。对于结构化或系统性标签噪声——即噪声训练标签或混淆样本与数据底层特征相关的情况——带弃权训练使得与不可靠标签相关联的特征表示学习成为可能。对于非结构化（任意）标签噪声，训练中的弃权使 DAC 可作为有效的数据清洗器，通过识别可能有标签噪声的样本。我们给出了损失函数行为的解析结果，使得能基于训练中的学习进度动态自适应弃权率。我们展示了深度弃权分类器在不同类型标签噪声下多种图像分类任务中的效用；在任意标签噪声情况下，我们在多个图像基准上展示了相较已发表结果的显著提升。源代码见 https://github.com/thulas/dac-label-noise
引用
@article{arxiv.1905.10964,
title = {Combating Label Noise in Deep Learning Using Abstention},
author = {Sunil Thulasidasan and Tanmoy Bhattacharya and Jeff Bilmes and Gopinath Chennupati and Jamal Mohd-Yusof},
journal= {arXiv preprint arXiv:1905.10964},
year = {2019}
}
备注
ICML 2019. Added source code link