方形卡槽中的方形卡槽：面向长尾半监督学习的元专家
机器学习
2025-08-12 v3
摘要
本文研究了长尾半监督学习 (LTSSL) 中的分布不匹配问题，其中标记训练数据的类别分布遵循长尾分布，且与未标记训练数据的分布不一致。大多数现有方法引入辅助分类器 (专家) 来建模各种未标记数据分布并生成伪标签，但这些专家的专长未被充分利用。我们观察到，不同的专家在预测不同样本区间方面各有所长，例如，长尾专家擅长位于头部区间的样本，而均匀专家在位于中等区间的样本方面表现更佳。因此，我们提出了动态专家分配模块，可估计样本的类别成员身份 (即头部、中等或尾部类别)，并根据估计的成员身份为每个样本动态分配合适的专家，以在训练阶段生成高质量的伪标签，并在测试阶段生成预测。我们也理论上阐明了整合不同专家优势将导致更小的泛化误差上界。此外，我们发现，更深的特征更偏向于头部类别，但具有更强的判别能力，而更浅的特征偏向更小，但判别能力也较弱。因此，我们提出了多深度特征融合模块，以利用不同深度的特征来缓解模型偏见。我们的方法通过在CIFAR-10-LT、STL-10-LT和SVHN-LT数据集上的全面实验表明其有效性。
引用
@article{arxiv.2505.16341,
title = {A Square Peg in a Square Hole: Meta-Expert for Long-Tailed Semi-Supervised Learning},
author = {Yaxin Hou and Yuheng Jia},
journal= {arXiv preprint arXiv:2505.16341},
year = {2025}
}
备注
The paper is accepted by ICML 2025