Lay-Your-Scene：基于扩散Transformer的自然场景布局生成
计算机视觉与模式识别
2025-05-09 v1 机器学习
摘要
我们提出 Lay-Your-Scene（简称 LayouSyn），一种新颖的面向自然场景的文本到布局生成流水线。现有的场景布局生成方法要么是封闭词汇的，要么使用专有的大型语言模型进行开放词汇生成，这限制了它们在可控图像生成中的建模能力和更广泛的适用性。在本工作中，我们提出使用轻量级开源语言模型从文本提示中获取场景元素，并采用一种新颖的、以开放词汇方式训练的宽高比感知扩散Transformer架构进行条件布局生成。大量实验表明，LayouSyn 优于现有方法，并在具有挑战性的空间和数值推理基准上达到了最先进的性能。此外，我们展示了 LayouSyn 的两种应用。首先，我们证明来自大型语言模型的粗略初始化可以无缝地与我们的方法结合，以获得更好的结果。其次，我们提出了一种向图像中添加对象的流水线，展示了 LayouSyn 在图像编辑应用中的潜力。
引用
@article{arxiv.2505.04718,
title = {Lay-Your-Scene: Natural Scene Layout Generation with Diffusion Transformers},
author = {Divyansh Srivastava and Xiang Zhang and He Wen and Chenru Wen and Zhuowen Tu},
journal= {arXiv preprint arXiv:2505.04718},
year = {2025}
}