自监督学习何时改善少样本学习？
计算机视觉与模式识别
2020-07-31 v2 机器学习
摘要
我们研究自监督学习（SSL）在少样本学习背景下的作用。尽管近期研究已展示 SSL 在大型无标签数据集上的益处，但其在小型数据集上的效用相对较少被探索。我们发现，即便数据集较小且仅利用数据集内图像，SSL 仍能将少样本元学习器的相对错误率降低 4%–27%。当训练集更小或任务更具挑战性时，改进更为显著。尽管 SSL 的益处可能随更大训练集而增加，我们观察到当用于元学习与 SSL 的图像分布不同时，SSL 会损害性能。我们通过改变域偏移程度并分析多个元学习器在众多域上的表现，进行了系统性研究。基于该分析，我们提出一种技术，可为给定数据集从大型通用无标签图像池中自动选取用于 SSL 的图像，从而带来进一步改进。
引用
@article{arxiv.1910.03560,
title = {When Does Self-supervision Improve Few-shot Learning?},
author = {Jong-Chyi Su and Subhransu Maji and Bharath Hariharan},
journal= {arXiv preprint arXiv:1910.03560},
year = {2020}
}
备注
ECCV 2020 camera ready. This is an updated version of "Boosting Supervision with Self-Supervision for Few-shot Learning" arXiv:1906.07079