针对不平衡半监督学习的二次类别偏差校正
机器学习
2023-12-29 v1
摘要
与传统的半监督学习不同，类别不平衡半监督学习面临两个独特的挑战：(1) 训练样本的不平衡分布导致模型偏向某些类别；(2) 未标记样本的分布未知且可能与标记样本的分布不同，这进一步加剧了训练过程中伪标签的类别偏差。为应对这两重挑战，我们提出了一种名为**二次类别偏差校正**（**TCBC**）的新方法。我们首先利用参与训练样本的类别分布估计来校正模型，使其能够在类别平衡先验下学习样本的后验概率。该校正旨在缓解模型固有的类别偏差。在此基础上，我们进一步估计训练过程中当前模型参数的类别偏差。我们对未标记样本的模型伪标签应用二次校正，旨在使未标记样本在不同类别间的伪标签分配尽可能公平。通过在 CIFAR10/100-LT、STL10-LT 以及大型长尾数据集 SUN397 上进行广泛实验，我们提供了确凿证据，表明所提出的 TCBC 方法能可靠地提升类别不平衡半监督学习的性能。
引用
@article{arxiv.2312.16604,
title = {Twice Class Bias Correction for Imbalanced Semi-Supervised Learning},
author = {Lan Li and Bowen Tao and Lu Han and De-chuan Zhan and Han-jia Ye},
journal= {arXiv preprint arXiv:2312.16604},
year = {2023}
}
备注
Accepted by AAAI24