少样本持续学习：一种受大脑启发的方法
机器学习
2021-04-20 v1
摘要
从少量样本中持续学习新任务是一个重要且具有挑战性的设定。尽管已有大量工作致力于持续学习或少样本学习，但很少考虑这一少样本持续学习（FSCL）的新设定，它需要在最小化对旧任务的灾难性遗忘的同时逐步提升少样本泛化能力。本文首次对 FSCL 进行了系统性研究，并给出了一种基于深度神经网络的有效解决方案。我们的方案基于如下观察：任务序列的持续学习不可避免地干扰少样本泛化，这使得将少样本学习策略扩展到持续学习场景极为困难。我们从鲁棒的大脑系统中汲取灵感，提出了一种方法：（1）受元可塑性与快/慢突触生物学模型启发，相互依赖地更新一对快/慢权重以分别用于持续学习与少样本学习，从而解耦二者分歧的目标；（2）应用受大脑启发的两步巩固策略，在快权重中无遗忘地学习任务序列，同时在慢权重中提升泛化而不发生过拟合。在多个基准上的大量结果表明，我们的方法取得了优于所有已见任务联合训练的性能，且从后续任务与样本中少样本泛化能力也得到显著提升。
引用
@article{arxiv.2104.09034,
title = {Few-shot Continual Learning: a Brain-inspired Approach},
author = {Liyuan Wang and Qian Li and Yi Zhong and Jun Zhu},
journal= {arXiv preprint arXiv:2104.09034},
year = {2021}
}