基于固定点更新的在线变分贝叶斯任务无关持续学习
机器学习
2021-10-19 v2 机器学习
摘要
背景：灾难性遗忘是神经网络在学习过程中对数据分布变化 notorious 的脆弱性。这一现象长期以来被视为在真实持续学习场景中使用学习智能体的主要障碍。大量持续学习研究假设训练期间任务边界已知。然而，仅有少数工作考虑任务边界未知或定义不清的场景——即任务无关场景。其最优贝叶斯解需要对权重后验进行难以处理的在线贝叶斯更新。贡献：我们旨在尽可能精确地近似在线贝叶斯更新。为此，我们针对多元高斯参数分布，推导了在线变分贝叶斯优化问题的新颖固定点方程。通过这些固定点方程迭代后验，我们获得了一种用于持续学习的算法（FOO-VB），该算法可使用固定架构处理非平稳数据分布，且无需使用外部记忆（即无法访问先前数据）。我们证明了我们的方法（FOO-VB）在任务无关场景中优于现有方法。FOO-VB 的 Pytorch 实现将在线提供。
引用
@article{arxiv.2010.00373,
title = {Task Agnostic Continual Learning Using Online Variational Bayes with Fixed-Point Updates},
author = {Chen Zeno and Itay Golan and Elad Hoffer and Daniel Soudry},
journal= {arXiv preprint arXiv:2010.00373},
year = {2021}
}
备注
The arXiv paper "Task Agnostic Continual Learning Using Online Variational Bayes" is a preliminary pre-print of this paper. The main differences between the versions are: 1. We develop new algorithmic framework (FOO-VB). 2. We add multivariate Gaussian and matrix variate Gaussian versions of the algorithm. 3. We demonstrate the new algorithm performance in task agnostic scenarios