KnobGen：控制素描基 diffusion 模型中艺术品的复杂程度

近期扩散模型的进展显著提高了文本到图像 (T2I) 生成，但往往难以平衡细粒度精确性与高层次控制。ControlNet 和 T2I-Adapter 等方法在跟随经验丰富的艺术家草图方面表现出色，但倾向于过于刚性，复制来自 novice 用户草图中的意外缺陷。而粗粒度方法，如草图基抽象框架，提供更易用的输入处理，但缺乏针对详细专业用途的精确控制。为解决这些限制，我们提出了 KnobGen，一种双路径框架，使基于草图的图像生成变得民主化，通过无缝适应草图的复杂程度和用户技能水平。KnobGen 使用 Coarse-Grained Controller (CGC) 模块处理高层语义，并使用 Fine-Grained Controller (FGC) 模块进行细节细化。通过我们的旋钮推理机制可调整这两个模块的相对强度，以符合用户的具体需求。这确保 KnobGen 能够灵活地从 novice 草图和经验丰富的艺术家草图中生成图像。实验结果表明，这些机制在 MultiGen-20M 数据集和一个新收集的草图数据集上，维持了最终输出的控制力度，同时保留了图像的自然外观。