使用变分自编码器的节俭增量生成建模
计算机视觉与模式识别
2025-05-29 v1
摘要
持续学习或增量学习在深度学习中具有巨大潜力，但也面临诸多挑战，包括灾难性遗忘。强大的基础模型和生成模型的出现进一步推动了这一范式，使其成为训练这些模型的最可行解决方案之一。然而，一个持续存在的问题在于数据量的不断增加，特别是在基于重放的方法中。这种增长带来了可扩展性挑战，因为随着任务数量的增加，持续扩展数据的需求也日益增加。在本文中，我们通过设计一种基于变分自编码器的新型无重放增量学习模型来缓解这一问题。本研究的主要贡献包括：(i) 建立在精心设计的多模态潜在空间之上的新型增量生成建模，以及 (ii) 一种减轻已训练 VAE 灾难性遗忘的正交性准则。所提出的方法考虑了这些 VAE 的两种变体：静态和动态，且参数数量没有增长或至多受控增长。大量实验表明，与密切相关的工作相比，我们的方法在实现 SOTA 准确率的同时，其“内存节俭”程度至少提高了一个数量级。
引用
@article{arxiv.2505.22408,
title = {Frugal Incremental Generative Modeling using Variational Autoencoders},
author = {Victor Enescu and Hichem Sahbi},
journal= {arXiv preprint arXiv:2505.22408},
year = {2025}
}