基于流的图像生成的比例与透视控制

虽然现代文本到图像扩散模型生成高保真图像，但对输出的空间和几何结构控制有限。为此，我们引入并评估了两种专用于艺术控制的 ControlNets: (1) 一种比例 ControlNet 用于指定物体的位置和比例; (2) 一种透视 ControlNet 用于控制场景的3D几何结构。我们通过利用视觉语言模型进行注释和针对图像合成的专用算法进行条件化，支持这些模块的训练。我们的实验表明，这两个模块都提供了有效的控制，但在处理复杂约束时存在局限性。这两个模型已发布在 HuggingFace 上：https://huggingface.co/obvious-research。