NP-LoRA：面向主体-风格LoRA融合的Null Space投影
计算机视觉与模式识别
2026-05-25 v3
摘要
低秩适应(LoRA)融合使能够在无需重新训练的情况下组合主体和风格表征，以实现可控生成。然而，现有方法主要通过权重级合并操作，未明确建模独立训练的LoRA在共享参数空间中的相互作用。我们从几何视角出发，对LoRA融合进行了阐释，将内容LoRA和风格LoRA解释为占据重叠、非正交低秩子空间，其中这种重叠可能导致相互冲突的参数更新，从而影响生成质量。此观察促使我们将LoRA融合不仅仅视为参数组合，更视为控制来自重叠子空间更新如何被组合的问题。基于这一洞见，我们提出Null Space投影LoRA(NP-LoRA)，一个无需训练的框架，采用投影作为融合算子，明确调制跨LoRA的相互作用。具体而言，NP-LoRA使用风格LoRA的主导方向定义投影子空间，并将内容LoRA投影到补数子空间(即风格LoRA的零空间)，以抑制沿主导风格方向的干扰，同时保留互补信息。为避免过于激进的硬投影，我们进一步将软投影表述为带正则化的优化问题，在内容保留与风格子空间抑制之间进行权衡。该目标具有闭式解，产生一个由单个参数控制的投影算子，可连续插值于线性合并与硬投影之间。广泛的实验表明，NP-LoRA在多个预训练LoRA对上实现了比强大基线更均衡的内容-风格组合，无需重新训练。
引用
@article{arxiv.2511.11051,
title = {NP-LoRA: Null Space Projection for Subject-Style LoRA Fusion},
author = {Chuheng Chen and Xiaofei Zhou and Geyuan Zhang and Yong Huang},
journal= {arXiv preprint arXiv:2511.11051},
year = {2026}
}