自监督模型的迁移性能如何？
计算机视觉与模式识别
2021-03-30 v2
摘要
自监督视觉表征学习近期取得了巨大进展，但尚无大规模评估比较现有众多模型。我们在 40 个下游任务上评估了 13 个顶级自监督模型的迁移性能，包括多样本与少样本识别、目标检测和密集预测。我们将它们的性能与有监督基线进行比较，并表明在大多数任务上最佳自监督模型优于有监督，证实了文献中近期观察到的趋势。我们发现 ImageNet Top-1 准确率与向多样本识别的迁移高度相关，但与少样本、目标检测和密集预测的相关性逐渐减弱。没有单一自监督方法在总体上占优，表明通用预训练仍未解决。我们对特征的分析表明，顶级自监督学习器未能像有监督替代方案那样保留颜色信息，但往往诱导出更好的分类器校准，以及比有监督学习器更少的注意力过拟合。
引用
@article{arxiv.2011.13377,
title = {How Well Do Self-Supervised Models Transfer?},
author = {Linus Ericsson and Henry Gouk and Timothy M. Hospedales},
journal= {arXiv preprint arXiv:2011.13377},
year = {2021}
}
备注
CVPR 2021. Code available at https://github.com/linusericsson/ssl-transfer