持续学习，快速泛化：面向少样本学习的终身知识积累
计算与语言
2022-08-23 v4
摘要
随时间不断扩展知识并利用其快速泛化到新任务的能力，是人类语言智能的一个关键特征。然而，现有追求对新任务快速泛化（例如少样本学习方法）的模型大多在固定数据集上一次性训练，无法动态扩展其知识；而持续学习算法并非专为快速泛化而设计。我们提出一种新的学习设定——少样本学习器的持续学习（CLIF），以统一的设定应对这两种学习设定的挑战。CLIF假设模型从依次到达的多样化NLP任务序列中学习，积累知识以改进对新任务的泛化，同时保持先前所学任务的性能。我们考察了在持续学习设定下泛化能力如何受到影响，评估了若干持续学习算法，并提出了一种新颖的正则化适配器生成方法。我们发现灾难性遗忘对泛化能力的影响小于对已见任务性能的影响；而持续学习算法仍可为泛化能力带来可观的收益。
引用
@article{arxiv.2104.08808,
title = {Learn Continually, Generalize Rapidly: Lifelong Knowledge Accumulation for Few-shot Learning},
author = {Xisen Jin and Bill Yuchen Lin and Mohammad Rostami and Xiang Ren},
journal= {arXiv preprint arXiv:2104.08808},
year = {2022}
}
备注
Accepted at Findings of EMNLP 2021; Fixed an error in Table 3 (see footnote 4); Updated Q3 in Sec. 4.2