通过双层优化学习泛化至未知任务
机器学习
2019-08-06 v1 机器学习
摘要
近期基于度量的元学习方法学习一个在从任务分布中采样的大量不同分类任务上泛化良好的度量空间,已被证明对未见类的少样本分类任务有效。它们通常以情景训练方式进行训练,迭代地训练一个公共度量空间,以缩小各类别代表与属于各类别的实例之间的距离,训练过程涉及大量具有随机类别的情节。然而,这种训练存在局限:其主要目标是在训练期间对未见类的分类进行泛化,但在元训练阶段并未显式考虑泛化。为解决此问题,我们提出了一种简单而有效的面向基于度量方法的元学习框架,称为学习泛化(L2G),它通过双层优化方案显式约束在采样分类任务上的学习,以降低在随机采样的未见分类任务上的分类误差。这种面向泛化的显式学习使模型获得能较好分离未见类的度量。我们在 mini-ImageNet 与 tiered-ImageNet 数据集上,以 Prototypical Networks 与 Relation Networks 两种基础元学习少样本分类模型验证了 L2G 框架。结果表明 L2G 相较情景训练显著提升了这两种方法的性能。进一步可视化显示 L2G 获得了能较好聚类并分离未见类的度量空间。
引用
@article{arxiv.1908.01457,
title = {Learning to Generalize to Unseen Tasks with Bilevel Optimization},
author = {Hayeon Lee and Donghyun Na and Hae Beom Lee and Sung Ju Hwang},
journal= {arXiv preprint arXiv:1908.01457},
year = {2019}
}
备注
9 pages, 3 figures