弥合鸿沟：面向开放世界半监督学习的学习节奏同步
机器学习
2024-04-18 v2 计算机视觉与模式识别
摘要
在开放世界半监督学习中，机器学习模型需从无标签数据中发掘新类别，同时保持对来自有标签数据的已见类别的性能。核心挑战在于已见类别与新类别间存在显著的学习鸿沟，因为模型凭借准确监督信息更快学习前者。此外，由于缺失标签信息，捕捉无标签新类别样本的语义亦具挑战。为解决上述问题，我们引入 1）自适应同步边际损失，其施加类特定负边际以缓解模型对已见类的偏置；2）伪标签对比聚类，利用模型预测的伪标签将输出空间中同类别的无标签数据归为一组。在基准数据集上的大量实验表明，先前方法可能严重阻碍新类学习，而我们的方法显著平衡了已见类与新类间的学习节奏，在 ImageNet 数据集上实现了 3% 的平均准确率提升。重要的是，我们发现微调自监督预训练模型可大幅提振性能，这一点在既往文献中被忽视。我们的代码见 https://github.com/yebo0216best/LPS-main。
引用
@article{arxiv.2309.11930,
title = {Bridging the Gap: Learning Pace Synchronization for Open-World Semi-Supervised Learning},
author = {Bo Ye and Kai Gan and Tong Wei and Min-Ling Zhang},
journal= {arXiv preprint arXiv:2309.11930},
year = {2024}
}