分块与细节：支撑草图到图像生成

我们介绍了一种新颖的草图到图像工具，它与艺术家的迭代细化过程相一致。我们的工具允许用户绘制分块笔触以粗略表示物体的位置和形状，以及细节笔触以细化其轮廓和剪影。我们开发了一种两遍算法，用于在迭代过程中的任何时刻从这样的草图生成高保真图像。在第一遍中，我们使用ControlNet生成严格遵循所有笔触（分块和细节）的图像；在第二遍中，我们通过对分块笔触周围的区域进行重新噪声添加来增加变化。我们还提出了一种数据集生成方案，当用于训练ControlNet架构时，该方案允许不包含笔触的区域被解释为尚未指定的区域，而不是空白空间。我们展示了这种部分草图感知的ControlNet可以从仅包含少量笔触的部分草图中生成连贯的元素。我们的方法产生的高保真图像作为支撑，可以帮助用户调整物体的形状和比例，或向构图添加额外元素。我们通过多种示例和评估比较展示了我们方法的有效性。定量评估的用户反馈表明，新手观众在84%的对比对中更喜欢我们算法生成的图像质量，而非基线Scribble ControlNet，并在81%的对比对中发现我们的图像失真更少。