通过梯度丢弃正则化元学习

随着仅用少量样本学习新任务的日益受关注，元学习已广泛用于少样本分类、强化学习和域泛化等诸多问题。然而，当训练任务不足以让元学习者泛化时，元学习模型易于过拟合。尽管 Dropout 等现有方法被广泛用于解决过拟合问题，这些方法通常设计用于监督训练中单任务模型的正则化。本文中，我们引入一种简单而有效的方法，以缓解基于梯度的元学习的过拟合风险。具体而言，在基于梯度的适应阶段，我们随机丢弃深度神经网络中各参数在内循环优化中的梯度，使得增广后的梯度改善对新任务的泛化。我们给出所提梯度丢弃正则化的通用形式，并表明该项可从伯努利或高斯分布中采样。为验证所提方法，我们在众多计算机视觉任务上进行了广泛的实验与分析，表明梯度丢弃正则化缓解了过拟合问题并提升了多种基于梯度的元学习框架的性能。