预训练表示在少样本分类中的实证研究
机器学习
2019-10-04 v1 机器学习
摘要
近期具有最先进少样本分类结果的算法，其流程始于计算由大型预训练模型输出的数据特征。本文中，我们系统性地研究在 Imagenet 数据集上预训练时，哪些模型能为少样本图像分类任务提供最佳表示。我们测试了将它们作为不同少样本分类算法起点时的表示。我们观察到，在监督分类任务上训练的模型比以无监督方式训练的模型具有更高性能，即便迁移到分布外数据集时亦然。以对抗鲁棒性训练的模型迁移性更好，同时其准确率略低于监督模型。
引用
@article{arxiv.1910.01319,
title = {An empirical study of pretrained representations for few-shot classification},
author = {Tiago Ramalho and Thierry Sousbie and Stefano Peluchetti},
journal= {arXiv preprint arXiv:1910.01319},
year = {2019}
}