BOIL：面向少样本学习的表征改变
机器学习
2021-03-04 v2 计算机视觉与模式识别
机器学习
摘要
模型无关元学习(MAML)是基于梯度的元学习算法中最具代表性的之一。MAML利用来自元初始化点的内循环更新以少量数据样本学习新任务，并利用外循环更新学习元初始化参数。近来有假设认为，与引起表征显著改变的表征改变相反，进行高效表征微小改变的表征复用，是通过MAML的元初始化模型性能的主导因素。在本研究中，我们探究了对于少样本学习终极目标（即解决域无关任务）而言表征改变的必要性。为此，我们提出一种名为BOIL（内循环仅更新主体）的新型元学习算法，该算法在内循环更新期间仅更新模型的主体（提取器）并冻结头部（分类器）。BOIL利用表征改变而非表征复用。这是因为特征向量（表征）必须快速移动到其对应的冻结头部向量。我们使用余弦相似度、CKA以及无头部的经验结果可视化了这一性质。BOIL在经验上显示出相对于MAML的显著性能提升，尤其在跨域任务上。结果表明，基于梯度的元学习方法中的表征改变是关键组成部分。
引用
@article{arxiv.2008.08882,
title = {BOIL: Towards Representation Change for Few-shot Learning},
author = {Jaehoon Oh and Hyungjun Yoo and ChangHwan Kim and Se-Young Yun},
journal= {arXiv preprint arXiv:2008.08882},
year = {2021}
}
备注
24 pages, 26 figures, 19 tables, ICLR 2021 published