基于可逆生成模型的持续学习
机器学习
2022-12-29 v2 机器学习
摘要
灾难性遗忘（CF）发生在神经网络在学习新任务时覆盖旧知识的情况下。处理 CF 的常用技术包括对权重进行正则化（例如，利用其对过去任务的重要性）以及排练策略，即网络不断在过往数据上重新训练。生成模型也被应用于后者，以获得无尽的数据源。在本文中，我们提出了一种结合正则化与基于生成的排练方法优势的新方法。我们的生成模型由一个归一化流（NF，一种概率性可逆神经网络）组成，该网络在网络的内部嵌入上训练。通过在整个训练过程中保持单个 NF，我们表明内存开销保持恒定。此外，利用 NF 的可逆性，我们提出了一种用过去任务正则化网络嵌入的简单方法。我们表明，在计算能力和内存开销受限的情况下，我们的方法相对于文献中最先进的方法表现更优。
引用
@article{arxiv.2202.05694,
title = {Continual Learning with Invertible Generative Models},
author = {Jary Pomponi and Simone Scardapane and Aurelio Uncini},
journal= {arXiv preprint arXiv:2202.05694},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:2007.02443