DiffLoRA：基于扩散模型生成个性化低秩适配权重
计算机视觉与模式识别
2024-11-18 v3 人工智能
摘要
个性化文本到图像生成因其能够基于用户定义的提示生成特定身份的高保真肖像而获得了广泛关注。现有方法通常涉及测试时微调或引入额外的预训练分支。然而，这些方法在效率、身份保真度以及维持模型原始生成能力方面难以同时满足。本文提出了DiffLoRA，一种高效方法，利用扩散模型作为超网络，基于参考图像预测个性化低秩适配(LoRA)权重。通过将这些LoRA权重集成到即插即用的文本到图像模型中，DiffLoRA实现了推理期间零样本个性化，无需后处理优化。此外，我们引入一种新颖的面向身份的LoRA权重构建管道，以促进DiffLoRA的训练过程。通过此管道生成的数据集使DiffLoRA能够产生一致高质量的LoRA权重。值得注意的是，扩散模型的独特特性通过采用概率建模捕获复杂结构特征并彻底探索权重空间，从而生成更优越的权重。全面的实验结果表明，DiffLoRA在多个基准测试中超越了现有的个性化方法，实现了时间效率和身份保真度的平衡。
引用
@article{arxiv.2408.06740,
title = {DiffLoRA: Generating Personalized Low-Rank Adaptation Weights with Diffusion},
author = {Yujia Wu and Yiming Shi and Jiwei Wei and Chengwei Sun and Yang Yang and Heng Tao Shen},
journal= {arXiv preprint arXiv:2408.06740},
year = {2024}
}
备注
9 pages,8 figures