USB：一个面向分类任务的统一半监督学习基准
机器学习
2022-10-17 v2 人工智能
计算机视觉与模式识别
摘要
半监督学习(SSL)通过利用大量无标签数据来增强有限的标签样本，从而改善模型泛化能力。然而，当前流行的SSL评估协议通常局限于计算机视觉(CV)任务。此外，以往工作通常从零开始训练深度神经网络，这耗时且对环境不友好。为解决上述问题，我们构建了一个面向分类的统一SSL基准(USB)，从CV、自然语言处理(NLP)和音频处理(Audio)中选取了15个多样、具挑战性且全面的任务，并在其上系统评估了主流SSL方法，同时开源了一个模块化且可扩展的代码库以公平评估这些SSL方法。我们进一步提供了CV任务上最先进神经模型的预训练版本，以使进一步微调的成本可承受。USB使得在更多来自多领域的任务上以更低成本评估单一SSL算法成为可能。具体而言，在单块NVIDIA V100上，在USB的15个任务上评估FixMatch仅需39个GPU天，而在TorchSSL上于5个CV任务(除ImageNet外的4个CV数据集需279个GPU天)上需335个GPU天。
引用
@article{arxiv.2208.07204,
title = {USB: A Unified Semi-supervised Learning Benchmark for Classification},
author = {Yidong Wang and Hao Chen and Yue Fan and Wang Sun and Ran Tao and Wenxin Hou and Renjie Wang and Linyi Yang and Zhi Zhou and Lan-Zhe Guo and Heli Qi and Zhen Wu and Yu-Feng Li and Satoshi Nakamura and Wei Ye and Marios Savvides and Bhiksha Raj and Takahiro Shinozaki and Bernt Schiele and Jindong Wang and Xing Xie and Yue Zhang},
journal= {arXiv preprint arXiv:2208.07204},
year = {2022}
}
备注
Accepted by NeurIPS'22 dataset and benchmark track; code at https://github.com/microsoft/Semi-supervised-learning