ZipLoRA:通过有效合并 LoRA 实现任意主体任意风格
计算机视觉与模式识别
2026-02-05 v2 图形学
机器学习
摘要
用于概念驱动个性化的生成模型微调方法通常在主体驱动或风格驱动生成方面取得强劲结果。近来,低秩适配(LoRA)被提出作为实现概念驱动个性化的参数高效方式。尽管近期工作探索了将独立 LoRA 组合以实现所学风格与主体的联合生成,现有技术并不能可靠地解决该问题;它们常常折损主体保真度或风格保真度之一。我们提出 ZipLoRA,一种廉价且有效地合并独立训练的风格与主体 LoRA 的方法,以实现任意用户提供的主体以任意用户提供的风格生成。在广泛主体与风格组合上的实验表明,ZipLoRA 能生成引人注目的结果,在主体与风格保真度上较基线有显著提升,同时保持重新语境化的能力。项目页面:https://ziplora.github.io
引用
@article{arxiv.2311.13600,
title = {ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs},
author = {Viraj Shah and Nataniel Ruiz and Forrester Cole and Erika Lu and Svetlana Lazebnik and Yuanzhen Li and Varun Jampani},
journal= {arXiv preprint arXiv:2311.13600},
year = {2026}
}
备注
Project page: https://ziplora.github.io