一切皆关乎你的草图：普及扩散模型中的草图控制

本文揭示了草图对于扩散模型的潜力，解决了生成式 AI 中直接草图控制的虚假承诺。我们重要的是普及了这一过程，使业余草图也能生成精确图像，兑现“所绘即所得”的承诺。一项试点研究强调了其必要性，指出现有模型中的变形源于空间条件作用。为纠正这一问题，我们提出了一种感知抽象的框架，利用草图适配器、自适应时间步采样以及来自预训练细粒度基于草图的图像检索模型的判别性指导，协同工作以加强细粒度草图 - 照片关联。我们的方法在推理过程中无缝运行，无需文本提示；只需类似你我都能绘制的简单粗略草图即可！我们欢迎大家审视论文及其补充材料中展示的结果。贡献包括普及草图控制、引入感知抽象框架以及利用判别性指导，并通过大量实验进行了验证。