PlanGen：面向自回归视觉语言模型的统一布局规划与图像生成
计算机视觉与模式识别
2025-04-01 v2
摘要
本文提出一种统一的布局规划与图像生成模型PlanGen，能够在生成图像之前预先规划空间布局条件。不同于将布局规划和布局到图像视为两个独立模型的扩散模型，PlanGen仅通过下一标记预测将两个任务联合建模。PlanGen将布局条件作为上下文整合到模型中，无需对局部标题和边界框坐标进行专门编码，这相较于对布局条件的嵌入-池化操作具有显著优势，尤其是在处理复杂布局时。统一的提示允许PlanGen执行与布局相关的多任务训练，包括布局规划、布局到图像生成、图像布局理解等。此外，PlanGen能够通过精心设计的建模方式无缝扩展到布局导引的图像操纵，采用教师强制内容操纵策略和负布局引导。广泛的实验验证了PlanGen在多个布局相关任务中的有效性，显示出巨大的潜力。代码已公开：https://360cvgroup.github.io/PlanGen。
关键词
引用
@article{arxiv.2503.10127,
title = {PlanGen: Towards Unified Layout Planning and Image Generation in Auto-Regressive Vision Language Models},
author = {Runze He and Bo Cheng and Yuhang Ma and Qingxiang Jia and Shanyuan Liu and Ao Ma and Xiaoyu Wu and Liebucha Wu and Dawei Leng and Yuhui Yin},
journal= {arXiv preprint arXiv:2503.10127},
year = {2025}
}
备注
15 pages, 12 figures, project page: https://360cvgroup.github.io/PlanGen