中文

CRAFT-LoRA:基于秩约束适配与训练-free 融合的内容-风格个人化

计算机视觉与模式识别 2026-03-04 v4

摘要

个性化图像生成需要在基于文本和参考示例合成图像时,有效平衡内容保真度与风格一致性。低秩适应(LoRA)提供了一种高效的个人化方法,潜力通过组合不同概念的 LoRA 权重来实现精确控制。然而,现有组合技术面临持续挑战:内容与风格表示之间的 entanglement 不足,控制元素影响力的指导不足,以及需要额外训练的权重融合不稳定。我们通过 CRAFT-LoRA 提出了这些限制的解决方案,其包含若干互补组件:(1) 采用秩约束的主干微调,通过注入低秩投影残差来鼓励学习解耦的内容与风格子空间;(2) 一种基于提示引导的方法, featuring 具有专门分支的专家编码器,实现语义扩展和通过选择性适配器聚合实现精确控制;(3) 一种训练-free、时序依赖的 classifier-free guidance 方案,通过在扩散步骤中战略调整噪声预测来增强生成稳定性。我们的方法显著改进了内容-风格解耦合,实现了对 LoRA 模块组合的灵活语义控制,并在无需额外重新训练开销的情况下实现高保真生成。

关键词

引用

@article{arxiv.2602.18936,
  title  = {CRAFT-LoRA: Content-Style Personalization via Rank-Constrained Adaptation and Training-Free Fusion},
  author = {Yu Li and Yujun Cai and Chi Zhang},
  journal= {arXiv preprint arXiv:2602.18936},
  year   = {2026}
}