掩蔽：噪声监督的一种新视角
机器学习
2018-11-01 v2 机器学习
摘要
在带有噪声标签的训练数据下学习各类分类器十分重要。在迄今最流行的噪声模型中，噪声标签由未知噪声转移矩阵从真值标签腐蚀而来。因此，通过估计该矩阵，分类器可避免对那些噪声标签过拟合。然而，这种估计在实践中十分困难，或因两步法的间接性，或因数据量不足以支撑端到端方法。本文提出一种称为掩蔽(Masking)的人助方法，其传达人类对无效类转移的认知并自然地推测噪声转移矩阵的结构。为此，我们推导了一个结合结构先验的结构感知概率模型，并解决了结构抽取与结构对齐带来的挑战。得益于掩蔽，我们仅需估计未掩蔽的噪声转移概率，估计负担大幅降低。我们在 CIFAR-10 与 CIFAR-100 上以三种噪声结构，以及在工业级 Clothing1M 以未知噪声结构进行了广泛实验，结果表明掩蔽能显著提升分类器的鲁棒性。
引用
@article{arxiv.1805.08193,
title = {Masking: A New Perspective of Noisy Supervision},
author = {Bo Han and Jiangchao Yao and Gang Niu and Mingyuan Zhou and Ivor Tsang and Ya Zhang and Masashi Sugiyama},
journal= {arXiv preprint arXiv:1805.08193},
year = {2018}
}
备注
NIPS 2018 camera-ready version