元学习思想能否提升深度神经网络在标准监督学习上的泛化能力？
机器学习
2020-11-03 v1 计算机视觉与模式识别
机器学习
摘要
为了在不过引入更多参数的情况下获得更好性能，人们已在提升深度神经网络（DNNs）泛化能力上付出大量努力。另一方面，元学习方法在少样本学习的新任务上展现出强大的泛化能力。直观上，少样本学习比标准监督学习更具挑战性，因为每个目标类只有极少或没有训练样本。由此产生的自然问题是：元学习思想能否用于提升DNNs在标准监督学习上的泛化能力。本文提出一种新颖的基于元学习的DNN训练流程（MLTP），并证明元学习思想确实能够提升DNNs的泛化能力。MLTP通过将一批训练样本视为一个任务来模拟元训练过程。其核心思想是：用于改善当前任务性能的梯度下降步骤也应改善新任务性能，而这一点被当前标准的神经网络训练流程所忽略。MLTP还受益于所有现有训练技术，如dropout、weight decay和batch normalization。我们在三个基准数据集即CIFAR-10、CIFAR-100和Tiny ImageNet上训练多种小型和大型神经网络来评估MLTP。实验结果显示所有不同规模的DNNs上泛化性能均得到一致提升，这验证了MLTP的潜力，并表明元学习思想确实能够提升DNNs在标准监督学习上的泛化能力。
引用
@article{arxiv.2002.12455,
title = {Is the Meta-Learning Idea Able to Improve the Generalization of Deep Neural Networks on the Standard Supervised Learning?},
author = {Xiang Deng and Zhongfei Zhang},
journal= {arXiv preprint arXiv:2002.12455},
year = {2020}
}