探索不变与等变表征在少样本学习中的互补优势

在许多现实问题中，收集大量带标签样本是不可行的。少样本学习（FSL）是解决此问题的主要方法，其目标是在样本数量有限的情况下快速适应新类别。FSL任务主要通过基于梯度的元学习和度量学习方法的思路来解决。然而，近期工作表明了强大特征表征的重要性，使用简单的嵌入网络即可超越现有复杂的FSL算法。本文基于这一见解，提出了一种新颖的训练机制，同时对一组通用几何变换强制等变性和不变性。先前工作仅单独使用等变或不变；但据我们所知，二者从未被联合使用。对这两个对比目标的同时优化使模型能够联合学习不仅独立于输入变换的特征，以及编码几何变换结构的特征。这些互补的特征集有助于仅用少量数据样本即可很好地泛化到新类别。我们通过引入一种新颖的自监督蒸馏目标获得了额外提升。我们的大量实验表明，即使不使用知识蒸馏，我们所提方法也能在五个流行基准数据集上超越当前最先进的FSL方法。