GROWN：仅在必要时生长的持续学习方法
机器学习
2021-10-05 v1 计算机视觉与模式识别
摘要
灾难性遗忘是深度学习中一个臭名昭著的问题，指深度神经网络(DNN)在学习新任务时可能遗忘先前任务的知识。为解决此问题，持续学习被发展出来，以顺序学习新任务并在不遗忘的情况下实现从旧任务到新任务的知识迁移。尽管近期基于结构的方法展现出缓解遗忘问题的能力，这些方法从一个冗余的满规模网络起步，并需要复杂的学习过程来逐步生长-剪枝或搜索每个任务的网络结构，效率低下。为解决该问题并实现新任务的高效网络扩展，我们首先开发了一种可学习的稀疏生长方法，消除了先前基于结构方法中的额外剪枝/搜索步骤。基于该可学习稀疏生长方法，我们进而提出GROWN，一种新颖的端到端持续学习框架，仅在必要时动态生长模型。与所有先前的基于结构的方法不同，GROWN从小型种子网络而非满规模网络起步。我们在多个数据集上对照最先进方法验证了GROWN，其在准确率和模型大小上均展现出优越性能。例如，在CIFAR-100 Superclass 20任务设定下，相比当前SOTA结果我们平均获得了1.0%的准确率提升。
引用
@article{arxiv.2110.00908,
title = {GROWN: GRow Only When Necessary for Continual Learning},
author = {Li Yang and Sen Lin and Junshan Zhang and Deliang Fan},
journal= {arXiv preprint arXiv:2110.00908},
year = {2021}
}
备注
8 pages. arXiv admin note: text overlap with arXiv:2007.07617 by other authors