从少样本数据流中持续学习
机器学习
2019-09-05 v2 机器学习
摘要
尽管深度学习在各种应用中取得了显著成果，但它通常需要大量数据，并且难以在非平稳数据流上学习。为解决这两个局限，深度学习模型不仅应能从少量数据中学习，还应能随时间从数据流中增量学习新概念而不遗忘先前的知识。现有文献中同时解决这两个问题的研究很少。在本工作中，我们提出一种新方法 MetaCL，使神经网络能够在不发生灾难性遗忘的情况下，从少样本数据流中有效学习元知识。MetaCL 训练模型以利用数据的内在特征（即元知识），并动态惩罚重要模型参数的变化以保留已学知识。通过这种方式，深度学习模型可以从小体量数据中高效获取新知识，同时在先前的任务上保持高性能。MetaCL 概念简单、易于实现且与模型无关。我们在三种近期基于正则化的方法上实现了我们的方法。大量实验表明，我们的方法在图像分类基准上达到了最先进的性能。
引用
@article{arxiv.1908.10223,
title = {Learning Continually from Low-shot Data Stream},
author = {Canyu Le and Xihan Wei and Biao Wang and Lei Zhang and Zhonggui Chen},
journal= {arXiv preprint arXiv:1908.10223},
year = {2019}
}