基于引导的扩散模型渐进学习指南
机器学习
2024-06-03 v2
摘要
我们提出了 GUIDE，一种新型的持续学习方法，通过引导机制让扩散模型在风险被遗忘的样本上进行重hears。现有的生成式策略通过随机从生成模型中抽样重hears样本来抵御灾难性遗忘，这种方法与基于缓冲区的方法相矛盾，后者中抽样策略发挥重要作用。我们提出通过将分类器引导融入扩散过程，以产生针对连续训练模型所遗忘信息的特定重hears样本。该方法使我们能够生成来自前序任务分布的样本，这些样本在最近遇到的类别上下文中更容易被误分类。我们的实验结果表明，GUIDE 显著降低了灾难性遗忘，超越了常规随机抽样方法，也在持续学习中基于生成式重播的最新前沿方法上取得了优势。
引用
@article{arxiv.2403.03938,
title = {GUIDE: Guidance-based Incremental Learning with Diffusion Models},
author = {Bartosz Cywiński and Kamil Deja and Tomasz Trzciński and Bartłomiej Twardowski and Łukasz Kuciński},
journal= {arXiv preprint arXiv:2403.03938},
year = {2024}
}