隐类别条件噪声模型
机器学习
2023-02-21 v1
摘要
在大数据时代，使用含噪标签进行学习已变得不可或缺，这节省了用于精确标注的昂贵人力。以往基于噪声转移的方法在类别条件噪声模型（CCN）下取得了有理论依据的性能。然而，这些方法建立在一个理想但不切实际的锚点集之上，该锚点集可用于预先估计噪声转移。尽管后续工作将这种估计适配为一个神经层，但在反向传播中对其参数进行不适定的随机学习很容易陷入不理想的局部最小值。我们通过引入隐类别条件噪声模型（LCCN），在贝叶斯框架下参数化噪声转移来解决这个问题。通过将噪声转移投影到狄利克雷空间中，学习过程被约束在由完整数据集表征的单纯形上，而不是由神经层包裹的某些特设参数空间。我们随后为LCCN推导出一种动态标签回归方法，其吉布斯采样器使我们能够高效地推断出隐式真实标签，以训练分类器并对噪声建模。我们的方法保障了噪声转移的稳定更新，避免了以往从一个小批量样本中进行任意调整。我们进一步将LCCN推广到不同的对应模型，使其兼容开放集噪声标签、半监督学习以及跨模型训练。一系列实验证明了LCCN及其变体相对于当前最先进方法的优势。
引用
@article{arxiv.2302.09595,
title = {Latent Class-Conditional Noise Model},
author = {Jiangchao Yao and Bo Han and Zhihan Zhou and Ya Zhang and Ivor W. Tsang},
journal= {arXiv preprint arXiv:2302.09595},
year = {2023}
}
备注
Accepted by TPAMI. arXiv admin note: text overlap with arXiv:1903.02152