通过集合到集合函数进行嵌入适应的小样本学习

利用有限数据学习是视觉识别中的关键挑战。许多小样本学习方法通过学习来自可见类的实例嵌入函数，并将该函数应用于标签有限的未见类实例来应对此挑战。这种迁移学习风格是任务无关的：嵌入函数并未针对未见类进行最优判别性学习，而对这些类的区分构成了目标任务。本文中，我们提出一种新方法，利用集合到集合函数将实例嵌入适应于目标分类任务，从而产生任务特定且具有判别性的嵌入。我们通过实验研究了此类集合到集合函数的多种实例化，并观察到 Transformer 最为有效——因为它自然满足我们期望模型的关键性质。我们将该模型记为 FEAT (few-shot embedding adaptation w/ Transformer，基于 Transformer 的小样本嵌入适应)，并在标准小样本分类基准以及四个具有实质应用场景的扩展小样本学习设定（即跨域、转导、广义小样本学习和低样本学习）上对其进行验证。它在基线模型及先前方法上均取得一致改进，并在两个基准上确立了新的 SOTA 结果。