基于领域无关无标签图像的流式自训练
计算机视觉与模式识别
2021-04-08 v1 人工智能
机器学习
摘要
我们提出流式自训练（SST），旨在使视觉识别模型的学习过程民主化，使非专家用户能够根据自身需求通过少量标注样本与极少的领域知识定义新任务。SST 的两个关键观察为：(1) 领域无关的无标签图像使我们能用少量标注样本学习更好的模型，而无需任何额外知识或监督；(2) 学习是一个连续过程，可通过构建学习更新调度来实现，该调度在流式的无标签数据新片段上的预训练与小规模固定标注数据集上的微调之间迭代。这使得 SST 克服了对大量领域特定标注与无标签样本、高昂计算资源以及领域/任务特定知识的需求。在此设定下，经典半监督方法需要大量领域特定的标注与无标签样本、处理数据的巨大资源以及特定任务的专家知识。由于这些原因，半监督学习一直局限于少数具备所需计算与人力资源的地方。在这项工作中，我们克服了这些挑战，并针对包括细粒度图像分类、表面法线估计与语义分割在内的广泛视觉识别任务展示了我们的发现。我们还针对包括医学、卫星与农业图像在内的多样领域展示了发现，这些领域并不存在大量标注或无标签数据。
引用
@article{arxiv.2104.03309,
title = {Streaming Self-Training via Domain-Agnostic Unlabeled Images},
author = {Zhiqiu Lin and Deva Ramanan and Aayush Bansal},
journal= {arXiv preprint arXiv:2104.03309},
year = {2021}
}
备注
Project Page: https://www.cs.cmu.edu/~aayushb/SST/