基于反演的扩散模型风格迁移

绘画中的艺术风格是一种表达手段，不仅包括绘画材料、色彩和笔触，还包括语义元素、物体形状等高层属性。以往的任意样例引导的艺术图像生成方法往往无法控制形状变化或传达元素。预训练的文本到图像合成扩散概率模型已取得了卓越的质量，但通常需要大量的文本描述才能准确刻画特定绘画的属性。我们认为，一件艺术作品的独特性恰恰在于它无法用常规语言充分解释。我们的核心思想是直接从单幅绘画中学习艺术风格，然后在无需提供复杂文本描述的情况下引导合成。具体而言，我们将风格假设为绘画的可学习文本描述。我们提出了一种基于反演的风格迁移方法（InST），能够高效且准确地学习图像的关键信息，从而捕捉并迁移绘画的艺术风格。我们在众多不同艺术家与风格的绘画上展示了我们方法的质量与效率。代码与模型见 https://github.com/zyxElsa/InST。