基于可微闭式求解器的元学习

由于标准微调过程的高计算需求，使深度网络从少量样本中适应新概念具有挑战性。因此，大多数少样本学习工作聚焦于简单的适应学习技术，如最近邻或梯度下降。尽管如此，机器学习文献中包含大量能非常高效地学习非深度模型的方法。在本文中，我们提出使用这些快速收敛方法作为少样本学习的主要适应机制。主要思想是教导深度网络将标准机器学习工具（如岭回归）用作其自身内部模型的一部分，使其能够快速适应新数据。这需要通过求解器步骤反向传播误差。虽然通常此类过程中涉及的矩阵运算代价会很大，但利用 Woodbury 恒等式，我们可以让少量样本数为我所用。我们提出了基于岭回归和逻辑回归组件的闭式与迭代求解器。我们的方法构成了一种针对少样本学习问题的简单而新颖的途径，并在三个基准上取得了与最先进水平相当或更优的性能。