使用贝叶斯非参数权重因子字典的持续学习
机器学习
2021-04-29 v3 机器学习
摘要
朴素训练的神经网络在顺序任务设定中往往经历灾难性遗忘，其中来自先前任务的数据不可用。近来已提出若干使用各种模型扩展策略的方法作为可能解决方案。然而，扩展模型多少留给实践者决定，且常出于简便选择恒定调度，而不管 incoming 任务多复杂。相反，我们提出一种基于印度自助餐过程（IBP）先验的原则性贝叶斯非参数方法，让数据决定模型复杂度扩展多少。我们将其与神经网络权重矩阵的分解配对。这种方法允许每个权重矩阵的因子数量随任务复杂度而扩展，而 IBP 先验鼓励稀疏权重因子选择与因子复用，促进任务间正向知识迁移。我们在若干持续学习基准上展示了我们方法的有效性，并分析了权重因子在整个训练过程中如何分配与复用。
引用
@article{arxiv.2004.10098,
title = {Continual Learning using a Bayesian Nonparametric Dictionary of Weight Factors},
author = {Nikhil Mehta and Kevin J Liang and Vinay K Verma and Lawrence Carin},
journal= {arXiv preprint arXiv:2004.10098},
year = {2021}
}
备注
Proceedings of the 24th International Conference on Artificial Intelligence and Statistics (AISTATS) 2021 Post-conference updates: Fixed typo in equation (11) and updated references