解决少样本问题中的灾难性遗忘
机器学习
2021-06-22 v3 机器学习
摘要
已知神经网络在顺序数据集上训练时会遭受灾难性遗忘。尽管已有大量尝试在大规模监督分类中解决此问题，但在少样本分类问题中克服灾难性遗忘的工作甚少。我们证明流行的基于梯度的模型无关元学习算法（MAML）确实遭受灾难性遗忘，并引入一种贝叶斯在线元学习框架来解决该问题。我们的框架利用贝叶斯在线学习与元学习，结合 Laplace 近似与变分推断，以克服少样本分类问题中的灾难性遗忘。实验评估表明，与各种基线相比，我们的框架能有效实现这一目标。作为额外效用，我们还通过实验证明我们的框架能够在来自平稳任务分布的顺序到达少样本任务上进行元学习。
引用
@article{arxiv.2005.00146,
title = {Addressing Catastrophic Forgetting in Few-Shot Problems},
author = {Pauching Yap and Hippolyt Ritter and David Barber},
journal= {arXiv preprint arXiv:2005.00146},
year = {2021}
}
备注
ICML 2021