中文

基于强教师监督的小样本学习

计算机视觉与模式识别 2022-07-12 v2 人工智能 机器学习

摘要

小样本学习(FSL)旨在利用有限的标注样本生成分类器。许多现有工作采用元学习方法,构建一个小样本学习器,使其能从少量样本中学习以生成分类器。通常,小样本学习器通过依次采样多个小样本任务并优化其所生成分类器在这些任务上的性能来进行构建或元训练。该性能由所得分类器对这些任务的测试(即查询)样本的分类效果来衡量。本文指出该方法的两个潜在弱点。首先,采样的查询样本可能无法为元训练小样本学习器提供充分的监督。其次,元学习的有效性随样本数(shot)增加而急剧下降。为解决这些问题,我们提出一种新颖的小样本学习器元训练目标,即鼓励小样本学习器生成类似于强分类器的分类器。具体而言,我们将每个采样的小样本任务关联一个用充足标注样本训练得到的强分类器。这些强分类器可视为我们希望小样本学习器在给定少量样本时生成的目标分类器,并利用它们来监督小样本学习器。我们提出了一种高效的强分类器构建方式,使我们提出的目标成为现有基于元学习的 FSL 方法易用的即插即用项。我们在多种代表性元学习方法上验证了我们的方法 LastShot。在多个基准数据集上,我们的方法在各种任务中均带来显著提升。更重要的是,借助我们的方法,基于元学习的 FSL 方法在不同样本数下均能优于非元学习方法。

关键词

引用

@article{arxiv.2107.00197,
  title  = {Few-Shot Learning with a Strong Teacher},
  author = {Han-Jia Ye and Lu Ming and De-Chuan Zhan and Wei-Lun Chao},
  journal= {arXiv preprint arXiv:2107.00197},
  year   = {2022}
}

备注

Accepted to publish on IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)