SST：用于半监督学习的自适应阈值自训练
机器学习
2025-06-03 v1 人工智能
计算机视觉与模式识别
摘要
神经网络在监督学习中展现出了卓越的性能，这得益于充足的高质量标注数据。然而，在现实场景中获取此类数据成本高昂且耗费人力。半监督学习（SSL）为这一问题提供了解决方案。诸如 Semi-ViT 和 Noisy Student 等近期研究采用了一致性正则化或伪标签技术，取得了显著成就。然而，它们仍面临挑战，特别是在由于依赖固定阈值而难以准确选择足够多的高质量伪标签方面。诸如 FlexMatch 和 FreeMatch 等近期方法引入了灵活或自适应的阈值技术，极大地推动了 SSL 研究。尽管如此，它们在每次迭代中更新阈值的过程被认为是耗时、计算量大且可能不必要的。为了解决这些问题，我们提出了自适应阈值自训练（SST），一种新颖、有效且高效的 SSL 框架。SST 引入了一种创新的自适应阈值（SAT）机制，该机制根据模型的学习进度自适应地调整特定类别的阈值。SAT 确保了高质量伪标签数据的选择，减轻了伪标签不准确和确认偏差的风险。大量实验表明，SST 在各种架构和数据集上实现了最先进的性能，并具有出色的效率、泛化能力和可扩展性。Semi-SST-ViT-Huge 在竞争激烈的 ImageNet-1K SSL 基准上取得了最佳结果，仅使用 1% / 10% 的标注数据即达到了 80.7% / 84.9% 的 Top-1 准确率。与使用 100% 标注数据达到 84.8% Top-1 准确率的完全监督 DeiT-III-ViT-Huge 相比，我们的方法仅使用 10% 的标注数据即展现出更优的性能。
引用
@article{arxiv.2506.00467,
title = {SST: Self-training with Self-adaptive Thresholding for Semi-supervised Learning},
author = {Shuai Zhao and Heyan Huang and Xinge Li and Xiaokang Chen and Rui Wang},
journal= {arXiv preprint arXiv:2506.00467},
year = {2025}
}
备注
Accepted by Information Processing & Management (IP&M)