单图像对的文本到图像模型定制化方法

艺术再解释是指创建参考作品的变体，使配对艺术品呈现出不同的艺术风格。我们探讨是否可以利用配对图像来定制生成模型以捕捉所示风格差异。我们提出Pair Customization，即一种新的定制方法，从单一图像对学习风格差异，然后将所学风格应用于生成过程中。与现有方法从图像集合中学习单一概念不同，我们的方法捕捉配对图像之间的风格差异。这使我们能够在不对特定图像内容过拟合的情况下应用风格变化。为此，我们采用联合优化方法，显式地将风格和内容分离到不同的LoRA权重空间中。我们优化这些风格和内容权重以重现风格和内容图像，同时鼓励它们的正交性。在推理期间，我们通过新的风格引导基于所学权重修改扩散过程。定性和定量实验表明，我们的方法能够有效地学习风格，同时避免对图像内容的过拟合，凸显了从单一图像对建模此类风格差异的潜力。