MetAdapt:用于少样本分类的元学习任务自适应架构
计算机视觉与模式识别
2020-03-10 v3 机器学习
摘要
少样本学习(FSL)是一个快速引起关注的课题。通常,在 FSL 中,模型在由许多小任务(元任务)组成的数据集上训练,并学习适应测试时会遇到的新任务。这也被称为元学习。另一个与元学习密切相关且备受社区关注的课题是神经架构搜索(NAS),即自动寻找最优架构而非人工设计。在本工作中,我们结合了元学习的这两个方面。迄今为止,元学习 FSL 方法集中于优化预定义网络架构的参数,以使其易于适应新任务。此外,据观察,一般而言,较大的架构比较小的架构表现更好,直到某个饱和点(之后因过拟合而性能下降)。然而,明确优化 FSL 架构以及在测试时使架构适应特定新任务却鲜受关注。在本工作中,我们提出采用可微神经架构搜索(D-NAS)文献中的工具来优化 FSL 架构而不过拟合。此外,为使架构任务自适应,我们提出“MetAdapt 控制器”模块的概念。这些模块被加入模型中,并经元训练以预测给定新任务的最优网络连接。使用所提方法,我们在两个流行的少样本基准 miniImageNet 和 FC100 上观察到了最先进的结果。
引用
@article{arxiv.1912.00412,
title = {MetAdapt: Meta-Learned Task-Adaptive Architecture for Few-Shot Classification},
author = {Sivan Doveh and Eli Schwartz and Chao Xue and Rogerio Feris and Alex Bronstein and Raja Giryes and Leonid Karlinsky},
journal= {arXiv preprint arXiv:1912.00412},
year = {2020}
}