基于二阶梯度的无状态神经元学习
机器学习
2022-11-08 v1 人工智能
机器学习
摘要
深度学习通常对于每个新学习的问题都需要大型数据集和大量计算能力。元学习可用于学习良好的先验以促进快速学习,从而放宽这些要求,使新任务能够更快学习;两种流行的方法是MAML和meta-learner LSTM。在这项工作中,我们比较二者并形式化地表明meta-learner LSTM包含了MAML。将这一见解与近期实证发现相结合,我们构建了一种新算法(称为TURTLE),它比meta-learner LSTM更简单,却比MAML更具表达力。TURTLE在少样本正弦波回归以及miniImageNet和CUB上的图像分类任务中,无需任何额外超参数调优即优于这两种技术,其计算成本与二阶MAML相当。TURTLE成功的关键在于二阶梯度的使用,这也使meta-learner LSTM的性能显著提升1-6%的准确率。
引用
@article{arxiv.2104.10527,
title = {Stateless Neural Meta-Learning using Second-Order Gradients},
author = {Mike Huisman and Aske Plaat and Jan N. van Rijn},
journal= {arXiv preprint arXiv:2104.10527},
year = {2022}
}