通过软参数剪枝克服灾难性遗忘
机器学习
2018-12-06 v1
摘要
灾难性遗忘是持续学习中的一个挑战性问题，当深度神经网络在后续任务上学习后，会遗忘从先前任务中获得的知识。然而，现有方法试图寻找与所有任务共享的参数的联合分布。这一思路可能值得怀疑，因为当任务数量增加时，该联合分布可能并不存在。另一方面，由于添加任务会“侵蚀”网络容量，在网络容量有限时还会导致“长期”记忆问题。本文提出一种软参数剪枝（Soft Parameters Pruning, SPP）策略，通过释放那些对记忆先前任务领域知识贡献较小的参数来学习未来任务，同时借助那些有效编码任务知识的参数保留关于先前任务的记忆，从而在学习模型的短期与长期收益之间取得权衡。SPP 还以无标签的方式通过信息熵衡量参数的重要性。在多个任务上的实验表明，SPP 模型相较于其他最先进（state-of-the-art, SOTA）方法取得了最佳性能。实验结果还表明，我们的方法对超参数较不敏感且具有更好的泛化能力。我们的研究表明，较柔性的策略，即近似优化或次优解，将有助于缓解记忆困境。源代码可在 https://github.com/lehaifeng/Learning_by_memory 获取。
引用
@article{arxiv.1812.01640,
title = {Overcoming Catastrophic Forgetting by Soft Parameter Pruning},
author = {Jian Peng and Jiang Hao and Zhuo Li and Enqiang Guo and Xiaohong Wan and Deng Min and Qing Zhu and Haifeng Li},
journal= {arXiv preprint arXiv:1812.01640},
year = {2018}
}
备注
10 pages, 12 figures