具有线性零化机制的元学习器
机器学习
2018-12-06 v3 机器学习
摘要
我们提出一种利用线性 transformer 执行神经网络输出零空间投影的元学习算法。主要思想是构造一个替代分类空间，使得少样本学习期间的误差信号在该空间上被快速零强迫，从而能够在低数据量下实现可靠分类。查询的最终决策利用网络输出与参考向量之间经零空间投影的距离度量获得，二者均在初始学习阶段训练得到。在给定模型规模的已知方法中，我们的元学习器在 Omniglot 和 miniImageNet 数据集上取得了最佳或接近最佳的图像分类准确率。
引用
@article{arxiv.1806.01010,
title = {Meta-Learner with Linear Nulling},
author = {Sung Whan Yoon and Jun Seo and Jaekyun Moon},
journal= {arXiv preprint arXiv:1806.01010},
year = {2018}
}
备注
presented at 2018 NeurIPS (NIPS) Workshop on Meta-Learning (Montreal, Canada)