DualNet：快与慢的连续学习
机器学习
2021-10-04 v1 人工智能
摘要
根据神经科学中的互补学习系统（Complementary Learning Systems, CLS）理论~\citep{mcclelland1995there}，人类通过两个互补的系统进行有效的\emph{连续学习（continual learning）}：以海马体为中心的快速学习系统，用于迅速学习具体细节与个体经验；以及位于新皮层的慢速学习系统，用于逐步获取关于环境的结构化知识。受该理论启发，我们提出了一种名为“DualNet”的新型连续学习框架，其包含一个用于从特定任务中监督学习模式分离表示的快速学习系统，以及一个通过自监督学习（Self-Supervised Learning, SSL）技术进行任务无关通用表示的无监督表示学习的慢速学习系统。这两个快、慢学习系统互补并在一个整体连续学习框架中无缝协作。我们在CORE50和miniImageNet两个具挑战性的连续学习基准上的大量实验表明，DualNet大幅优于最先进的连续学习方法。我们进一步对不同SSL目标进行消融实验，以验证DualNet的有效性、鲁棒性与可扩展性。代码将在录用后公开。
引用
@article{arxiv.2110.00175,
title = {DualNet: Continual Learning, Fast and Slow},
author = {Quang Pham and Chenghao Liu and Steven Hoi},
journal= {arXiv preprint arXiv:2110.00175},
year = {2021}
}