用于持续学习的基于梯度投影的类原型条件 Diffusion 模型
机器学习
2024-03-25 v3
摘要
缓解灾难性遗忘是持续学习中的关键障碍。深度生成回放提供了一些技术，专注于利用从生成对抗网络到更近期的 Diffusion 模型等生成式 AI 模型生成先前任务的样本，以增强模型的记忆能力。一个主要问题是，由于生成器不断从其自身输出中进行自我学习，生成数据的质量相较于原始数据会有所下降。这种退化可能导致分类器中发生灾难性遗忘的潜在风险。为了解决这一问题，我们提出了梯度投影类原型条件 Diffusion 模型，这是一种用于持续学习的基于 GR 的方法，可增强生成器中的图像质量，从而减少分类器中的 CF。GPPDM 的核心是一个可学习的类原型，用于捕获给定类别中图像的核心特征。该原型被整合进 Diffusion 模型的去噪过程中，以确保生成旧任务的高质量图像，从而降低分类器中 CF 的风险。此外，为了进一步缓解 Diffusion 模型的 CF，我们提出了一种专为 Diffusion 模型交叉注意力层量身定制的梯度投影技术，以在当前任务中最大程度地维持和保留旧任务数据的表示，使其尽可能接近它们首次到达时的表示。我们在多个数据集上的实证研究表明，我们提出的方法显著优于现有的 SOTA 模型，突出了其在保持图像质量和增强模型记忆保持方面的令人满意的能力。
引用
@article{arxiv.2312.06710,
title = {Class-Prototype Conditional Diffusion Model with Gradient Projection for Continual Learning},
author = {Khanh Doan and Quyen Tran and Tung Lam Tran and Tuan Nguyen and Dinh Phung and Trung Le},
journal= {arXiv preprint arXiv:2312.06710},
year = {2024}
}