面向广义噪声监督的防护式动态标签回归
机器学习
2021-08-24 v2 计算机视觉与模式识别
机器学习
摘要
带噪标签学习旨在减少精确标注所需的昂贵人力,在大数据时代已变得不可或缺。先前基于噪声转移的方法在类条件噪声情形下取得了有前景的结果并给出了性能的理论保证。然而,此类方法严重依赖于对噪声转移的准确预估计,而这通常是不可行的。后续的改进通过 Softmax 层在训练过程中自适应调整预估计。但是,由于不适定的随机近似,Softmax 层中的参数因脆弱的性能而被高度调参。为解决这些问题,我们提出了一种潜在类条件噪声模型(LCCN),其在贝叶斯框架下自然嵌入噪声转移。通过将噪声转移投影到 Dirichlet 分布空间中,学习被约束在基于整个数据集的单纯形上,而非某些特设的参数空间。我们进而为 LCCN 推导出一种动态标签回归方法,以迭代推断潜在标签、随机训练分类器并建模噪声。我们的方法防护了噪声转移的有界更新,避免了先前基于一批样本的任意调参。我们进一步将 LCCN 推广至开集噪声标签与半监督设定。我们在可控噪声数据集 CIFAR-10 和 CIFAR-100,以及不可知噪声数据集 Clothing1M 和 WebVision17 上进行了大量实验。实验结果表明所提模型优于几种最先进的方法。
引用
@article{arxiv.1903.02152,
title = {Safeguarded Dynamic Label Regression for Generalized Noisy Supervision},
author = {Jiangchao Yao and Ya Zhang and Ivor W. Tsang and Jun Sun},
journal= {arXiv preprint arXiv:1903.02152},
year = {2021}
}
备注
New complete and extended version will be updated in the future