利用基类信息增强小样本学习的元训练

小样本学习是机器学习中的一项挑战性任务，旨在学习一种分类器，使其能够利用有限的标记样本识别新的未见类别。元学习已成为小样本学习的一个突出框架。其训练框架最初是一种任务级学习方法，如模型无关元学习 (MAML) 和原型网络 (Prototypical Networks)。最近提出的一种称为 Meta-Baseline 的训练范式，由顺序预训练和元训练阶段组成，取得了最先进的性能。然而，作为一种非端到端的训练方法，意味着元训练阶段只能在预训练完成后开始，Meta-Baseline 由于两个训练阶段固有的冲突而遭受更高的训练成本和次优性能。为解决这些局限性，我们提出了一种由两个交替循环组成的端到端训练范式。在外循环中，我们在整个训练集上计算交叉熵损失，同时仅更新最终的线性层。在内循环中，我们采用原始的元学习训练模式来计算损失，并结合来自外部损失的梯度来指导参数更新。这种训练范式不仅收敛迅速，而且优于现有的基线，表明来自整体训练集的信息与元学习训练范式可以相互增强。此外，作为模型无关的框架，我们的方法实现了显著的性能提升，超越基线系统约 1%。