推理出你的布局：从大语言模型中唤醒布局大师用于文本到图像合成
计算机视觉与模式识别
2023-11-30 v1 计算与语言
摘要
近期文本到图像（T2I）生成模型的进展已展现出基于文本提示生成多样且富有想象力视觉内容的卓越能力。尽管有所进步，这些扩散模型有时仍难以将文本中的语义内容完整转化为图像。虽然以布局为条件已被证明能有效提升 T2I 扩散模型的组合能力，但它们通常需要手动输入布局。本工作中，我们提出一种利用大语言模型（LLMs）作为布局生成器来改进 T2I 扩散模型的新方法。我们的方法借助 LLMs 的思维链提示（Chain-of-Thought prompting）来解读文本并生成空间合理的物体布局。生成的布局随后被用于增强生成图像的组合性与空间准确性。此外，我们提出一种基于交叉注意力机制的高效适配器，将布局信息显式地整合进稳定扩散模型中。我们的实验表明，图像质量与布局精度均有显著提升，展示了 LLMs 在增强生成式图像模型方面的潜力。
引用
@article{arxiv.2311.17126,
title = {Reason out Your Layout: Evoking the Layout Master from Large Language Models for Text-to-Image Synthesis},
author = {Xiaohui Chen and Yongfei Liu and Yingxiang Yang and Jianbo Yuan and Quanzeng You and Li-Ping Liu and Hongxia Yang},
journal= {arXiv preprint arXiv:2311.17126},
year = {2023}
}
备注
preprint