SLayR: 基于修正流的场景布局生成

我们提出了SLayR（Scene Layout Generation with Rectified flow），一种用于文本到布局生成的新型基于Transformer的模型，随后可以与现有的布局到图像模型配对以生成图像。SLayR解决的是当前文本到图像流水线难以处理的领域：在给定提示词模糊且不对场景施加约束时，生成具有显著多样性和合理性的场景布局。SLayR在无约束生成方面超越了现有基线（包括LLMs），并且可以从开放字幕集中生成布局。为了准确评估布局生成，我们引入了一套新的基准套件，包括数值指标和精心设计的可重复人工评估程序，用于评估生成图像的合理性和多样性。我们展示了我们的方法在同时实现这两项目标方面达到了新的最先进水平，同时参数数量至少减少了3倍。