QR-LoRA：基于 QR 分解的高效无缝微调用于定制化生成

现有文本到图像模型通常依赖参数微调技术，如低秩适应 (Low-Rank Adaptation, LoRA)，以自定义视觉属性。然而，在进行内容-风格融合任务时，组合多个 LoRA 模型会导致权重矩阵的非结构化修改，引发内容与风格属性之间的意外特征缠综。我们提出 QR-LoRA，一种基于 QR 分解实现结构化参数更新的新型微调框架，有效分离视觉属性。我们的关键洞察在于，正交矩阵 Q 本然能最小化不同视觉特征之间的干扰，而上三角矩阵 R 高效地编码属性特定的变换。我们的做法固定 both Q 和 R 矩阵，仅训练额外的任务特定 $\Delta R$ 矩阵。这种结构化设计将可训练参数减少至常规 LoRA 方法的一半，并通过 $\Delta R$ 矩阵之间强大的无缝性支持有效合并多个适应器，避免交叉污染。实验表明，QR-LoRA 在内容-风格融合任务中实现了卓越的无缝性，确立了参数高效、无缝微调生成模型的新范式。项目页面可访问于 https://luna-ai-lab.github.io/QR-LoRA/。