持续学习：快与慢

根据神经科学中的互补学习系统（CLS）理论~\cite{mcclelland1995there}，人类通过两个互补系统实现有效的\emph{持续学习（continual learning）}：以海马体为中心的快速学习系统，用于快速学习具体的个体经验；以及位于新皮层的慢速学习系统，用于逐步获取关于环境的结构化知识。受该理论启发，我们提出\emph{DualNets}（双网络），一种通用持续学习框架，包含用于从特定任务中监督学习模式分离表示的快速学习系统，以及通过自监督学习（SSL）进行任务无关通用表示学习的慢速学习系统。DualNets可将两种表示类型无缝整合到一个整体框架中，以促进深度神经网络中更好的持续学习。通过大量实验，我们展示了DualNets在广泛持续学习协议上的可喜结果，从标准离线、任务感知设置到具有挑战性的在线、无任务场景。值得注意的是，在具有视觉图像差异巨大的不相关任务的CTrL~\cite{veniat2020efficient}基准上，DualNets能与现有最先进的动态架构策略~\cite{ostapenko2021continual}取得竞争性能。此外，我们进行了全面的消融研究以验证DualNets的有效性、鲁棒性和可扩展性。代码将发布于 \url{https://github.com/phquang/DualNet}。