基于预训练模型的半监督学习中的渐进式特征调整
计算机视觉与模式识别
2023-09-12 v1
摘要
作为一种缓解数据标注负担的有效方式，半监督学习（SSL）因能够同时利用有标签和无标签数据来构建预测模型而提供了一种有吸引力的解决方案。尽管近期取得了显著进展，SSL算法通常在网络随机初始化的假设下被评估和开发。这与大多数通过微调预训练网络以获得更好性能的视觉识别系统形成鲜明对比。虽然SSL与预训练模型的结合看似直接，但近期文献表明，将最先进的SSL朴素地应用于预训练模型未能释放训练数据的全部潜力。在本文中，我们假定其潜在原因是预训练的特征表示可能带来源自源数据的偏置，且该偏置在典型SSL算法的自训练过程中往往被放大。为克服此问题，我们提出使用来自无标签数据的伪标签来更新对错误标签较不敏感的特征提取器，并仅允许分类器从有标签数据中训练。更具体地，我们渐进式地调整特征提取器，以确保其诱导的特征分布在强输入扰动下仍保持良好的类可分离性。通过广泛的实验研究，我们表明所提方法相较于现有方案取得了更优性能。
引用
@article{arxiv.2309.04659,
title = {Progressive Feature Adjustment for Semi-supervised Learning from Pretrained Models},
author = {Hai-Ming Xu and Lingqiao Liu and Hao Chen and Ehsan Abbasnejad and Rafael Felix},
journal= {arXiv preprint arXiv:2309.04659},
year = {2023}
}
备注
to appear at ICCVW2023 (Workshop on Visual Continual Learning)