通过可记忆过去的函数正则化实现持续深度学习
机器学习
2021-01-11 v4 机器学习
摘要
持续学习新技能对智能系统十分重要，但标准深度学习方法存在对过去知识的灾难性遗忘。近期工作通过权重正则化解决该问题。函数正则化尽管计算代价高，预期表现更优，实践中却很少如此。本文通过使用一种新的函数正则化方法修复了该问题，该方法利用少量对避免遗忘至关重要的可记忆过去样本。借助深度网络的高斯过程表述，我们的方法能够在权重空间中进行训练，同时识别可记忆过去与函数先验。我们的方法在标准基准上取得了最先进的性能，并为终身学习开辟了正则化与基于记忆的方法自然结合的新方向。
引用
@article{arxiv.2004.14070,
title = {Continual Deep Learning by Functional Regularisation of Memorable Past},
author = {Pingbo Pan and Siddharth Swaroop and Alexander Immer and Runa Eschenhagen and Richard E. Turner and Mohammad Emtiyaz Khan},
journal= {arXiv preprint arXiv:2004.14070},
year = {2021}
}