学习成长：一种克服灾难性遗忘的持续结构学习框架
机器学习
2019-05-22 v3 计算机视觉与模式识别
摘要
解决灾难性遗忘是持续学习中的关键挑战之一，其中机器学习系统以顺序或流式任务进行训练。尽管深度学习的近期显著进展，深度神经网络（DNNs）仍受灾难性遗忘问题困扰。本文提出一个概念上简单但通用且有效的框架，用于处理持续学习中 DNNs 的灾难性遗忘。所提方法包含两个组件：神经结构优化组件和参数学习与/或微调组件。通过分离显式神经结构学习和参数估计，所提方法不仅能够以直观有意义的方式演化神经结构，而且在实验中表现出缓解灾难性遗忘的强能力。此外，在持续学习设置下，所提方法在 permuted MNIST 数据集、split CIFAR100 数据集和 Visual Domain Decathlon 数据集上优于所有其他基线。
引用
@article{arxiv.1904.00310,
title = {Learn to Grow: A Continual Structure Learning Framework for Overcoming Catastrophic Forgetting},
author = {Xilai Li and Yingbo Zhou and Tianfu Wu and Richard Socher and Caiming Xiong},
journal= {arXiv preprint arXiv:1904.00310},
year = {2019}
}