中文

图案类比:学习通过类比执行程序化图像编辑

计算机视觉与模式识别 2025-04-08 v2 人工智能 图形学 人机交互

摘要

图案图像在数字和物理世界中无处不在,编辑它们的工具极具价值。但编辑图案图像十分棘手:所需的编辑通常是程序化的,即结构感知的编辑,用以更改生成图案的底层程序。人们可以尝试推断这一底层程序,但目前的方法在处理复杂图像时存在困难,且生成的程序杂乱无章,使得编辑变得繁琐。在这项工作中,我们引入了一种对图案图像执行程序化编辑的新方法。通过使用图案类比——一对简单图案来演示预期的编辑——以及基于学习的生成模型来执行这些编辑,我们的方法允许用户直观地编辑图案。为了实现这一范式,我们引入了 SplitWeave,一种领域特定语言,结合合成图案类比采样框架,能够创建大规模、高质量的合成训练数据集。我们还提出了 TriFuser,一种潜在扩散模型 (LDM),旨在克服将 LDM 直接应用于此任务时出现的关键问题。在真实世界艺术家提供的图案上的大量实验表明,我们的方法忠实地执行了所演示的编辑,同时还能泛化到超出其训练分布的相关图案风格。

关键词

引用

@article{arxiv.2412.12463,
  title  = {Pattern Analogies: Learning to Perform Programmatic Image Edits by Analogy},
  author = {Aditya Ganeshan and Thibault Groueix and Paul Guerrero and Radomír Měch and Matthew Fisher and Daniel Ritchie},
  journal= {arXiv preprint arXiv:2412.12463},
  year   = {2025}
}

备注

CVPR 2024 - Website: https://bardofcodes.github.io/patterns/