用于克服灾难性遗忘的在线结构化拉普拉斯近似
机器学习
2018-05-22 v1 机器学习
摘要
我们引入了 Kronecker 因子化在线拉普拉斯近似，用于克服神经网络中的灾难性遗忘。该方法基于贝叶斯在线学习框架，其中我们在每个任务后递归地用高斯分布近似后验，从而对权重变化产生二次惩罚。拉普拉斯近似需要计算模态附近的 Hessian 矩阵，这对于现代架构通常是难以处理的。为使我们的方法可扩展，我们利用近期对曲率的块对角 Kronecker 因子化近似。我们的算法在 permuted MNIST 数据集的 50 个连续实例化序列上取得了超过 90% 的测试准确率，大幅优于相关的克服灾难性遗忘的方法。
引用
@article{arxiv.1805.07810,
title = {Online Structured Laplace Approximations For Overcoming Catastrophic Forgetting},
author = {Hippolyt Ritter and Aleksandar Botev and David Barber},
journal= {arXiv preprint arXiv:1805.07810},
year = {2018}
}
备注
13 pages, 6 figures