用于伪期望最大化的半监督对比离群点去除（SCOPE）
机器学习
2023-10-31 v2 人工智能
摘要
半监督学习是通过将小型标注数据集与 presumably 大得多的未标注数据集结合来训练准确预测模型的问题。已开发出许多半监督深度学习方法，包括伪标注、一致性正则化和对比学习技术。然而，伪标注方法极易受混淆影响，即错误伪标注在早期迭代中被当作真标签，从而导致模型强化其先验偏差，进而无法泛化到强预测性能。我们提出一种通过我们称之为用于伪期望最大化的半监督对比离群点去除（SCOPE）的方法来抑制混淆错误的新途径。像基本伪标注一样，SCOPE 与期望最大化（EM）相关，这是一个可扩展用于理解聚类假设深度半监督算法的潜变量框架。但不同于未充分考虑给定模型下未标注样本概率的基本伪标注，SCOPE 引入一个离群点抑制项，旨在存在离群点时基于判别型 DNN 主干改善 EM 迭代行为。我们的结果表明，SCOPE 大幅提升了相对于基线的半监督分类准确率，并且当与一致性正则化结合时，在使用 250 和 4000 个标注样本的半监督 CIFAR-10 分类任务中达到了报道的最高准确率。此外，我们表明 SCOPE 通过在后续重训练迭代中会污染标注集的错误高置信度伪标注样本中剪枝，减少了伪标注迭代期间混淆错误的出现。
引用
@article{arxiv.2206.14261,
title = {Semi-supervised Contrastive Outlier removal for Pseudo Expectation Maximization (SCOPE)},
author = {Sumeet Menon and David Chapman},
journal= {arXiv preprint arXiv:2206.14261},
year = {2023}
}