提示驱动的高效开集半监督学习
计算机视觉与模式识别
2022-09-29 v1
摘要
开集半监督学习（OSSL）日益受到关注，其研究更实际的场景：分布外（OOD）样本仅存在于无标签数据中。现有OSSL方法如OpenMatch学习一个OOD检测器来识别离群点，通常更新所有模态参数（即全微调）以将类信息从有标签数据传播到无标签数据。当前，提示学习已被发展用于弥合预训练与微调间的差距，并在若干下游任务中展现出更高的计算效率。本文提出一种提示驱动的高效OSSL框架，称为OpenPrompt，其仅用少量可训练参数即可将类信息从有标签数据传播至无标签数据。我们提出提示驱动的联合空间学习机制，通过最大化无标签数据中ID与OOD样本的分布间隙来检测OOD数据，从而使我们的方法能以新方式检测离群点。在三个公开数据集上的实验结果表明，OpenPrompt以少于1%的可训练参数优于最先进方法。更重要的是，在CIFAR10上，OpenPrompt在离群点检测的AUROC方面比全监督模型提升了4%。
引用
@article{arxiv.2209.14205,
title = {Prompt-driven efficient Open-set Semi-supervised Learning},
author = {Haoran Li and Chun-Mei Feng and Tao Zhou and Yong Xu and Xiaojun Chang},
journal= {arXiv preprint arXiv:2209.14205},
year = {2022}
}