改进与理解变分持续学习
机器学习
2019-05-07 v1 机器学习
摘要
在持续学习设置中，任务按顺序出现。目标是学习的同时：i) 避免灾难性遗忘，ii) 有效利用模型容量，iii) 利用前向和后向迁移学习。在本文中，我们探讨了变分持续学习（VCL）框架如何在持续学习的两个基准（分割MNIST和置换MNIST）上实现这些目标。我们首先报告了在已有竞争性方法上的显著改进结果。这些改进是通过建立一种新的均值场变分贝叶斯神经网络的最佳实践方法实现的。然后我们详细研究了这些解决方案。这使我们能够理解VCL为何如此表现，并将解决方案与“理想”的持续学习解决方案进行比较。
引用
@article{arxiv.1905.02099,
title = {Improving and Understanding Variational Continual Learning},
author = {Siddharth Swaroop and Cuong V. Nguyen and Thang D. Bui and Richard E. Turner},
journal= {arXiv preprint arXiv:1905.02099},
year = {2019}
}