中文

DIFF-NST:用于可变形神经风格迁移的扩散交错方法

计算机视觉与模式识别 2023-07-12 v2

摘要

神经风格迁移(NST)是研究应用神经技术将内容图像的艺术外观修改为匹配参考风格图像风格的领域。传统上,NST 方法聚焦于基于纹理的图像编辑,主要影响低层信息并保持大多数图像结构不变。然而,对于某些风格,尤其是抽象风格或其核心概念在于对内容的变形描绘时,基于风格的形变是所期望的。随着近期扩散模型(如 Stable Diffusion)的引入,我们可以获得更强大的图像生成技术,开启了新的可能。在我们的工作中,我们提出使用这类新模型来执行风格迁移,同时实现可变形风格迁移,这是先前模型难以企及的能力。我们展示了利用这些模型的先验如何在推理时暴露新的艺术控制,并记录我们在探索风格迁移这一新方向时的发现。

关键词

引用

@article{arxiv.2307.04157,
  title  = {DIFF-NST: Diffusion Interleaving For deFormable Neural Style Transfer},
  author = {Dan Ruta and Gemma Canet Tarrés and Andrew Gilbert and Eli Shechtman and Nicholas Kolkin and John Collomosse},
  journal= {arXiv preprint arXiv:2307.04157},
  year   = {2023}
}