一种用于输入依赖标签噪声下深度分类的简单概率方法
机器学习
2020-11-16 v3 机器学习
摘要
带有噪声标签的数据集在分类方法的实际应用中有着普遍的存在。我们提出了一种简单的概率方法，用于在输入依赖（异方差）标签噪声下训练深度分类器。我们假设噪声标签存在一个潜在的异方差生成过程。为了使基于梯度的训练可行，我们使用温度参数化的 softmax 作为对该假设生成过程的平滑近似。我们说明 softmax 温度控制了该近似的偏差-方差权衡。通过调节 softmax 温度，我们在具有可控标签噪声的图像分类基准以及具有自然发生标签噪声的 Imagenet-21k 上提升了准确率、对数似然和校准性能。对于图像分割，我们的方法在 PASCAL VOC 和 Cityscapes 数据集上将平均 IoU 较最先进模型提高了 1% 以上。
引用
@article{arxiv.2003.06778,
title = {A Simple Probabilistic Method for Deep Classification under Input-Dependent Label Noise},
author = {Mark Collier and Basil Mustafa and Efi Kokiopoulou and Rodolphe Jenatton and Jesse Berent},
journal= {arXiv preprint arXiv:2003.06778},
year = {2020}
}