基于贝叶斯优化与注意力机制的持续学习
机器学习
2019-05-13 v1 机器学习
摘要
尽管神经网络在各种应用中取得了很大进展，但它们仍极难在不遗忘的情况下从连续的任务流中学习。持续学习作为一种新的学习范式，旨在解决此问题。本工作中，我们提出一种用于持续学习的新模型，称为基于贝叶斯优化与注意力机制的持续学习（BOCL），其在新任务到来时通过贝叶斯优化动态扩展网络容量，并借助注意力机制有选择地利用先前的知识（如先前任务的特征图）。我们在MNIST与CIFAR-100的变体上的实验表明，我们的方法在防止灾难性遗忘和更好地拟合新任务方面优于SOTA。
引用
@article{arxiv.1905.03980,
title = {Bayesian Optimized Continual Learning with Attention Mechanism},
author = {Ju Xu and Jin Ma and Zhanxing Zhu},
journal= {arXiv preprint arXiv:1905.03980},
year = {2019}
}
备注
8 pages