ConceptGuard：针对遗忘与混淆的持续个性化文本到图像生成
计算与语言
2025-03-14 v1 计算机视觉与模式识别
摘要
扩散定制方法仅通过少量用户提供的图像即可实现令人瞩目的效果。然而，现有方法是对概念进行整体定制，而现实应用往往需要顺序集成概念。这种顺序性会导致灾难性遗忘，即先前学习的概念丢失。本文调查了持续定制中的概念遗忘和概念混淆问题。为解决这些挑战，我们提出了 ConceptGuard 方法，结合移位嵌入、概念绑定提示和记忆保留正则化，辅以优先队列能够自适应更新不同概念的重要性和出现顺序。这些策略能够动态更新、解除绑定并学习先前概念的关系，从而减轻概念遗忘和混淆。通过全面实验，我们展示了该方法在定性和定量分析中均显著优于所有基线方法。
引用
@article{arxiv.2503.10357,
title = {Do I look like a `cat.n.01` to you? A Taxonomy Image Generation Benchmark},
author = {Viktor Moskvoretskii and Alina Lobanova and Ekaterina Neminova and Chris Biemann and Alexander Panchenko and Irina Nikishina},
journal= {arXiv preprint arXiv:2503.10357},
year = {2025}
}
备注
Labeled data and generated image Wordnet are published at https://huggingface.co/collections/VityaVitalich/generated-image-wordnet-67d2c868ff1414ec2f8e0d3d