三个臭皮匠顶个诸葛亮：用于长尾半监督学习的互补专家
计算机视觉与模式识别
2024-04-04 v2
摘要
我们解决了长尾半监督学习（LTSSL）这一具有挑战性的问题，其中标记数据呈现不平衡的类别分布，未标记数据遵循未知分布。与平衡SSL不同，生成的伪标签偏向头部类别，加剧了训练偏差。当标记和未标记数据集的类别分布不匹配时，这种现象甚至会被放大，因为更多未标记数据将被错误标记为头部类别。为解决此问题，我们提出了一种名为互补专家（CPE）的新方法。具体来说，我们训练多个专家来建模各种类别分布，每个专家在一种类别分布形式下产生高质量的伪标签。此外，我们为CPE引入了类别批量归一化，以避免头部和非头部类别之间特征分布不匹配导致的性能下降。CPE在CIFAR-10-LT、CIFAR-100-LT和STL-10-LT数据集基准上达到了最先进的性能。例如，在CIFAR-10-LT上，与基线相比，CPE将测试准确率提高了超过2.22%。代码可在https://github.com/machengcheng2016/CPE-LTSSL获取。
引用
@article{arxiv.2312.15702,
title = {Three Heads Are Better Than One: Complementary Experts for Long-Tailed Semi-supervised Learning},
author = {Chengcheng Ma and Ismail Elezi and Jiankang Deng and Weiming Dong and Changsheng Xu},
journal= {arXiv preprint arXiv:2312.15702},
year = {2024}
}
备注
Accepted by AAAI2024