重新审视基础模型时代的半监督学习
机器学习
2025-11-06 v4 人工智能
计算机视觉与模式识别
摘要
半监督学习（SSL）利用丰富的无标签数据和有限的标注数据来增强学习。随着视觉基础模型（VFMs）越来越多地作为视觉应用的基础架构，尚不清楚SSL如何与这些预训练模型交互。为了填补这一空白，我们开发了新的SSL基准数据集，其中冻结的VFMs表现不佳，并系统地评估了代表性的SSL方法。我们提出了一个令人惊讶的观察：仅使用标注数据进行参数高效微调（PEFT）的性能通常与SSL相当，即使不利用无标签数据。这促使我们重新审视自训练——一个概念上简单的SSL基线——其中我们使用监督PEFT模型为无标签数据生成伪标签以进行进一步训练。为了克服臭名昭著的噪声伪标签问题，我们提出了集成多种PEFT方法和VFM骨干网络来生成更鲁棒的伪标签。实验结果验证了这种简单而强大方法的有效性，为VFMs时代的SSL提供了可操作的见解，并为在基础模型时代实现更具可扩展性和实用性的半监督学习铺平了道路。
引用
@article{arxiv.2503.09707,
title = {Revisiting semi-supervised learning in the era of foundation models},
author = {Ping Zhang and Zheda Mai and Quang-Huy Nguyen and Wei-Lun Chao},
journal= {arXiv preprint arXiv:2503.09707},
year = {2025}
}
备注
The paper has been accepted to NeurIPS 2025. Ping Zhang and Zheda Mai contributed equally to this work