扩散模型的低秩持续个性化
机器学习
2025-03-14 v3
摘要
最近的扩散模型个性化方法，如 Dreambooth 和 LoRA，允许对预训练模型进行微调以生成新概念。然而，对连续任务（例如添加新对象或风格）应用这些技术会导致由于适配器之间相互干扰而遗忘先前的知识。在本工作中，我们在缺乏对过去任务适配器访问的严格限制下，解决了持续定制的问题。在这种情况下，我们研究了不同的适配器初始化和合并方法如何提高最终模型的质量。为此，我们评估了定制化模型的朴素持续微调，并将其方法与三种连续适配器训练的方法进行比较：顺序合并新适配器、合并正交初始化适配器以及仅更新相关任务特定权重。在实验中，我们展示所提出的技术在比较朴素方法时能够减缓遗忘。在我们的研究中，我们展示了所选方法的不同特征及其对持续适应模型塑性和稳定性的影响。代码仓库已公开：https://github.com/luk-st/continual-lora。
引用
@article{arxiv.2410.04891,
title = {Low-Rank Continual Personalization of Diffusion Models},
author = {Łukasz Staniszewski and Katarzyna Zaleska and Kamil Deja},
journal= {arXiv preprint arXiv:2410.04891},
year = {2025}
}
备注
SCOPE @ ICLR 2025