传统艺术中基于互异 LoRA 模块的风格组成

基于扩散的文本到图像模型在从文本提示合成多样化图像方面取得了显著成果，能够通过风格个人化捕获特定艺术风格。然而，其纠缠的潜在空间和缺乏光滑插值，使得在受控的区域层面上应用不同的绘画技巧困难，常导致某一种风格主导。为克服这一限制，我们提出了一个零样本扩散管线，通过对在各自训练的风格专用模型中预测的去噪潜在向量执行风格组成，实现了多个风格的自然融合。我们利用较低噪声潜在向量携带更强风格信息的事实，借助空间掩码在异构扩散管线之间进行融合，从而实现精确的区域级风格控制。该机制既保留了每个单独风格的忠实度，又允许用户引导混合。此外，为确保不同模型之间的结构一致性，我们将深度图条件集成到扩散框架中。定性和定量实验表明，我们的方法成功实现了根据给定掩码进行区域级风格混合。