基于生成式分类器的鲁棒推断方法用于处理含噪标签
机器学习
2019-05-15 v2 机器学习
摘要
大规模数据集可能含有相当比例的噪声（错误）类标签，且众所周知，现代深度神经网络（DNNs）从此类含噪训练数据集中泛化能力很差。为缓解该问题，我们提出一种称为鲁棒生成式分类器（RoG）的新推断方法，适用于任何在含噪数据集上预训练的判别式（如 softmax）神经分类器。具体而言，我们在预训练 DNN 的隐藏特征空间之上引入一个生成式分类器，以获得更鲁棒的决策边界。通过使用最小协方差行列式估计量来估计生成式分类器的参数，我们在既不重新训练深度模型也不改变其架构的情况下显著提升了分类准确率。在特征服从高斯分布的假设下，我们证明 RoG 在含噪标签下比基线泛化得更好。最后，我们通过考察 DNN 的逐层特性提出了 RoG 的集成版本以改进其性能。我们大量的实验结果证明了 RoG 在给定由多种训练技术优化的不同学习模型以应对多样含噪标签场景时的优越性。
引用
@article{arxiv.1901.11300,
title = {Robust Inference via Generative Classifiers for Handling Noisy Labels},
author = {Kimin Lee and Sukmin Yun and Kibok Lee and Honglak Lee and Bo Li and Jinwoo Shin},
journal= {arXiv preprint arXiv:1901.11300},
year = {2019}
}
备注
Accepted in ICML 2019