学习利用不可或缺连接进行元学习
机器学习
2023-04-07 v1
摘要
元学习旨在用少量标注样本解决未见过任务。然而，尽管现有基于优化的方法在快速学习中有效，它仍存在若干缺陷。元训练期间频繁出现无关紧要的连接，导致过参数化神经网络。因此，元测试观察到不必要的计算与额外内存开销。为克服此类缺陷，我们提出一种称为 Meta-LTH 的新型元学习方法，其包含不可或缺（必要）连接。我们应用称为幅度剪枝的彩票假设技术来生成这些能有效解决少样本学习问题的关键连接。我们旨在完成两件事：(a) 找到能够进行更具适应性元学习的子网络；(b) 学习未见过任务的新的底层特征，并在元测试阶段将这些特征与已学特征重组。实验结果表明，所提 Met-LTH 方法在三个不同分类数据集上优于现有一阶 MAML 算法。我们的方法在 omniglot 数据集上（20-way 1-shot 任务设定）将分类准确率提升约 2%。
引用
@article{arxiv.2304.02862,
title = {Learning to Learn with Indispensable Connections},
author = {Sambhavi Tiwari and Manas Gogoi and Shekhar Verma and Krishna Pratap Singh},
journal= {arXiv preprint arXiv:2304.02862},
year = {2023}
}