CRAFT-LoRA:基于秩约束适配与训练-free 融合的内容-风格个人化
计算机视觉与模式识别
2026-03-04 v4
摘要
个性化图像生成需要在基于文本和参考示例合成图像时,有效平衡内容保真度与风格一致性。低秩适应(LoRA)提供了一种高效的个人化方法,潜力通过组合不同概念的 LoRA 权重来实现精确控制。然而,现有组合技术面临持续挑战:内容与风格表示之间的 entanglement 不足,控制元素影响力的指导不足,以及需要额外训练的权重融合不稳定。我们通过 CRAFT-LoRA 提出了这些限制的解决方案,其包含若干互补组件:(1) 采用秩约束的主干微调,通过注入低秩投影残差来鼓励学习解耦的内容与风格子空间;(2) 一种基于提示引导的方法, featuring 具有专门分支的专家编码器,实现语义扩展和通过选择性适配器聚合实现精确控制;(3) 一种训练-free、时序依赖的 classifier-free guidance 方案,通过在扩散步骤中战略调整噪声预测来增强生成稳定性。我们的方法显著改进了内容-风格解耦合,实现了对 LoRA 模块组合的灵活语义控制,并在无需额外重新训练开销的情况下实现高保真生成。
引用
@article{arxiv.2602.18936,
title = {CRAFT-LoRA: Content-Style Personalization via Rank-Constrained Adaptation and Training-Free Fusion},
author = {Yu Li and Yujun Cai and Chi Zhang},
journal= {arXiv preprint arXiv:2602.18936},
year = {2026}
}