面向从目标模型实现元学习

元学习可从先前的学习经验中提取归纳偏置,并辅助新任务的训练。它常通过以任务特定求解器的评估损失优化元模型来实现。现有多数算法由于简便性,采样不重叠的 $\mathit{support}$ 集与 $\mathit{query}$ 集分别训练和评估求解器($\mathcal{S}$/$\mathcal{Q}$ 协议)。不同于 $\mathcal{S}$/$\mathcal{Q}$ 协议,我们也可通过将任务特定求解器与目标模型 $\mathcal{T}$ 比较来评估它,该目标模型为此任务的最优模型或在此任务上表现足够好的模型($\mathcal{S}$/$\mathcal{T}$ 协议)。尽管研究匮乏,$\mathcal{S}$/$\mathcal{T}$ 协议具有提供更具信息量的监督等独特优势,但计算开销大。本文审视这一特殊评估方法,并朝将其付诸实践迈出一步。我们发现,在少量任务配备目标模型的情况下,经典元学习算法可在不消耗过多资源下获得大幅改进。我们在元学习的典型应用即少样本学习($\mathit{i.e.}$, few-shot learning)中实证验证了 $\mathcal{S}$/$\mathcal{T}$ 协议的有效性。具体而言,通过在困难任务上微调预训练网络构造目标模型后,我们通过知识蒸馏匹配任务特定求解器与目标模型。