MAML 在分类中是一种带噪声的对比学习器
机器学习
2022-03-15 v4 人工智能
摘要
模型无关元学习（MAML）是最流行且被广泛采用的元学习算法之一，在各种学习问题中取得了显著成功。然而，由于其独特的嵌套内循环与外循环更新设计分别控制任务特定和元模型中心的学习，MAML 的底层学习目标仍是隐式的，从而阻碍了对它的更直接理解。本文提供了 MAML 工作机制的新视角。我们发现 MAML 类似于使用监督对比目标的元学习器。查询特征被拉向同类别的支持特征，并远离不同类别的支持特征。这种对比性通过基于余弦相似度的分析在实验上得到验证。此外，我们揭示了原始 MAML 存在一个源于随机初始化和跨任务交互的不期望干扰项。因此我们提出了一种简单而有效的技术——置零技巧（zeroing trick）来缓解该干扰。在 mini-ImageNet 和 Omniglot 数据集上进行了大量实验，以证明所提方法带来的一致提升，验证了其有效性。
引用
@article{arxiv.2106.15367,
title = {MAML is a Noisy Contrastive Learner in Classification},
author = {Chia-Hsiang Kao and Wei-Chen Chiu and Pin-Yu Chen},
journal= {arXiv preprint arXiv:2106.15367},
year = {2022}
}
备注
22 pages, 17 figures. Accepted by ICLR 2022