面向遗忘与混淆的持续个性化文本到图像生成:ConceptGuard
计算机视觉与模式识别
2025-03-14 v1 机器学习
摘要
扩散定制方法仅通过少量用户提供的图像即可实现令人瞩目的效果。然而,现有方法是对概念进行整体定制,而现实应用往往需要顺序集成概念。这种顺序性会导致灾难性遗忘,即先前学习的概念丢失。本文调查了持续定制中的概念遗忘和概念混淆问题。为解决这些挑战,我们提出了 ConceptGuard 方法,结合移位嵌入、概念绑定提示和记忆保留正则化,辅以优先队列能够自适应更新不同概念的重要性和出现顺序。这些策略能够动态更新、解除绑定并学习先前概念的关系,从而减轻概念遗忘和混淆。通过全面实验,我们展示了该方法在定性和定量分析中均显著优于所有基线方法。
引用
@article{arxiv.2503.10358,
title = {ConceptGuard: Continual Personalized Text-to-Image Generation with Forgetting and Confusion Mitigation},
author = {Zirun Guo and Tao Jin},
journal= {arXiv preprint arXiv:2503.10358},
year = {2025}
}
备注
Accepted at CVPR 2025