基于归一化流的持续学习伪回放方法
机器学习
2021-08-06 v4 计算机视觉与模式识别
机器学习
摘要
灾难性遗忘（CF）发生在神经网络在新任务上训练时覆盖过去知识的情况下。处理 CF 的常用技术包括对权重进行正则化（例如，利用其对过去任务的重要性）以及回放策略，即网络不断在过往数据上重新训练。生成模型也被应用于后者，以获得无尽的数据源。本文提出一种结合正则化与基于生成的回放方法优势的新方法。我们的生成模型由一个归一化流（NF）（一种概率可逆神经网络）组成，该 NF 在网络的内部嵌入上训练。通过保持单个以任务为条件的 NF，我们表明内存开销保持恒定。此外，利用 NF 的可逆性，我们提出一种简单方法以相对于过去任务正则化网络的嵌入。我们表明，在有限的计算能力与内存开销下，我们的方法相对于文献中最先进的方法表现更优。
引用
@article{arxiv.2007.02443,
title = {Pseudo-Rehearsal for Continual Learning with Normalizing Flows},
author = {Jary Pomponi and Simone Scardapane and Aurelio Uncini},
journal= {arXiv preprint arXiv:2007.02443},
year = {2021}
}
备注
A preliminary unpublished version of this work was presented in the LifelongML workshop, at ICML 2020