快速学习还是特征复用？迈向对 MAML 有效性的理解

机器学习的一个重要研究方向围绕开发元学习算法以应对少样本学习。一个特别成功的算法是模型无关元学习（MAML），该方法由两层优化循环组成，外循环寻找元初始化，从中内循环可以高效学习新任务。尽管 MAML 广受欢迎，一个根本性的开放问题仍然存在——MAML 的有效性是由于元初始化为快速学习（表示的大幅高效变化）做好了准备，还是由于特征复用，即元初始化已包含高质量特征？我们通过消融实验和潜表示分析研究这一问题，发现特征复用是主导因素。这引出了 ANIL（Almost No Inner Loop）算法，它是 MAML 的简化版，除 MAML 训练网络的（任务特定的）头部外，我们移除了所有内循环。ANIL 在基准少样本图像分类和强化学习任务上匹配 MAML 的性能，并在计算上优于 MAML。我们进一步研究了网络头部与主体的精确贡献，表明测试任务上的性能完全由所学特征的质量决定，我们甚至可以移除网络头部（NIL 算法）。最后我们讨论了更广义元学习算法中快速学习与特征复用的问题。