基于梯度元学习的学习层明智度量与子空间方法
机器学习
2018-06-15 v3 计算机视觉与模式识别
机器学习
摘要
基于梯度的元学习方法利用梯度下降来学习各种任务之间的共性。尽管以往的此类方法在元学习任务中取得了成功,它们在元测试阶段仍采用简单的梯度下降。我们的主要贡献是 MT-net,它使元学习器能够在每一层的激活空间上学习一个子空间,任务特定的学习器在该子空间上执行梯度下降。此外,MT-net 的任务特定学习器依据元学习得到的距离度量执行梯度下降,该度量对激活空间进行扭曲以使其对任务身份更敏感。我们证明了该学习子空间的维度反映了任务特定学习器适应任务的复杂度,并且我们的模型相较于以往的基于梯度的元学习方法对初始学习率的选择较不敏感。我们的方法在少样本分类与回归任务上取得了最先进或可媲美的性能。
引用
@article{arxiv.1801.05558,
title = {Gradient-Based Meta-Learning with Learned Layerwise Metric and Subspace},
author = {Yoonho Lee and Seungjin Choi},
journal= {arXiv preprint arXiv:1801.05558},
year = {2018}
}
备注
Accepted to ICML 2018