自监督可成为优秀的少样本学习器
计算机视觉与模式识别
2022-07-20 v1
摘要
现有少样本学习（FSL）方法依赖大规模标注数据集训练，这阻碍了它们利用丰富的无标注数据。从信息论视角出发，我们提出一种有效的无监督 FSL 方法，通过自监督学习表征。遵循 InfoMax 原则，我们的方法通过捕捉数据内在结构来学习全面表征。具体而言，我们使用低偏差互信息（MI）估计器最大化实例与其表征的互信息，以进行自监督预训练。与聚焦于已见类别可分辨特征的有监督预训练不同，我们的自监督模型对已见类别偏差更小，从而对未见类别具有更好的泛化性。我们阐释有监督预训练与自监督预训练实际最大化了不同的 MI 目标。我们进一步开展大量实验，在各种训练设置下分析它们的 FSL 性能。令人惊讶的是，结果表明在适当条件下自监督预训练可优于有监督预训练。与最先进的 FSL 方法相比，我们的方法在广泛使用的 FSL 基准上无需任何基类标签即取得可比性能。
引用
@article{arxiv.2207.09176,
title = {Self-Supervision Can Be a Good Few-Shot Learner},
author = {Yuning Lu and Liangjian Wen and Jianzhuang Liu and Yajing Liu and Xinmei Tian},
journal= {arXiv preprint arXiv:2207.09176},
year = {2022}
}
备注
ECCV 2022, code: https://github.com/bbbdylan/unisiam