如何训练你的 MAML 以在少样本分类中表现出色
机器学习
2022-07-12 v3 人工智能
计算机视觉与模式识别
摘要
模型无关元学习（MAML）可以说是当今最流行的元学习算法之一。然而，其在少样本分类上的性能远落后于许多近期专为该问题设计的算法。本文中，我们指出了如何训练 MAML 以在少样本分类中表现出色的几个关键要点。首先，我们发现 MAML 在其内循环更新中需要大量梯度步，这与其在少样本分类中的常见用法相矛盾。其次，我们发现 MAML 对元测试期间的类标签分配敏感。具体而言，MAML 元训练一个 N 路分类器的初始化。在元测试时，这 N 路随后有 "N!" 种不同的排列可与一个含 N 个新类的少样本任务配对。我们发现这些排列导致准确率的巨大方差，使 MAML 在少样本分类中不稳定。第三，我们研究了若干使 MAML 排列不变的方法，其中元训练单个向量来初始化分类头中所有 N 个权重向量的方法表现最佳。在 MiniImageNet 和 TieredImageNet 等基准数据集上，我们命名为 UNICORN-MAML 的方法与许多近期少样本分类算法表现相当甚至更优，且不牺牲 MAML 的简洁性。
引用
@article{arxiv.2106.16245,
title = {How to Train Your MAML to Excel in Few-Shot Classification},
author = {Han-Jia Ye and Wei-Lun Chao},
journal= {arXiv preprint arXiv:2106.16245},
year = {2022}
}
备注
Accepted to International Conference on Learning Representations 2022 (ICLR 2022)