修订 Matters：由修订编辑引导的生成式设计

布局设计，如用户界面或一般图形布局，本质上是一个迭代的修订过程。通过反复修订设计，设计师会收敛于理想布局。在本文中，我们研究了人类设计师的修订编辑如何帮助多模态生成模型。为此，我们构建了一个专家数据集，追踪人类设计师如何迭代编辑和改进一个以提示语言目标为导向的布局生成。基于此类数据，我们探索了在Gemini多模态主干模型之上进行各种监督式微调任务设置。我们的结果表明，人类修订在迭代布局细化中发挥着关键作用。尽管存在噪声，专家修订编辑仍能使我们的模型获得约10分的设计FID分数，这接近人类水平(~6)。相比之下，完全依赖模型自身判断的自我修订会导致形成回声室，阻止迭代改进，有时会导致生成退化。幸运的是，我们发现提供人类指导在早期阶段发挥关键作用对于最终生成至关重要。在这种人类在环场景中，我们的工作为基于预训练大型多模态模型的迭代设计修订之路。