通过自批判实现学会学习

在小样本学习中，机器学习系统从与特定任务相关的一小组带标签示例中学习，从而能够泛化到同一任务的新示例。鉴于此类任务中带标签示例的有限可用性，我们希望充分利用所能获得的所有信息。通常，模型从小的训练集（支持集）中学习任务特定信息，以预测未带标签的验证集（目标集）。目标集包含现有的小样本学习方法未利用的额外任务特定信息。通过转导学习利用目标集示例需要超越当前方法的方法；在推理时，目标集仅包含未带标签的输入数据点，因此无法使用判别学习。在本文中，我们提出了一个称为自批判与自适应（Self-Critique and Adapt，SCA）的框架，该框架学会学习一个无标签损失函数，参数化为神经网络。基础模型使用现有方法（例如随机梯度下降结合交叉熵损失）在支持集上学习，然后使用学习到的损失函数针对即将到来的目标任务进行更新。该无标签损失函数本身被优化，使得学习到的模型获得更高的泛化性能。实验表明，与仅在支持集上自适应的基线方法相比，SCA显著降低了错误率，并在Mini-ImageNet和Caltech-UCSD Birds 200上取得了最先进的基准性能。