通过生成式正则化克服灾难性遗忘
机器学习
2021-06-22 v3 机器学习
摘要
本文中，我们提出一种新方法，通过对贝叶斯推断框架添加生成式正则化来克服灾难性遗忘。贝叶斯方法为持续学习提供了通用框架。我们可进一步利用基于能量的模型与 Langevin 动态采样，为所有给定分类模型构造生成式正则化项，以丰富各任务中所学特征。通过将判别损失与生成损失结合，我们经实验表明所提方法在多种任务上优于 SOTA 方法，避免了持续学习中的灾难性遗忘。特别地，所提方法在 Fashion-MNIST 数据集上超越基线方法逾 15%，在 CUB 数据集上超越 10%。
引用
@article{arxiv.1912.01238,
title = {Overcoming Catastrophic Forgetting by Generative Regularization},
author = {Patrick H. Chen and Wei Wei and Cho-jui Hsieh and Bo Dai},
journal= {arXiv preprint arXiv:1912.01238},
year = {2021}
}