PosterLlama: 将语言模型的设计能力桥接至内容感知布局生成

视觉布局在广告、海报和网页 UI 设计等平面设计领域发挥着关键作用。近期通过生成模型进行内容感知布局生成的趋势展现出了前景，但它通常将布局设计视为简单的数值优化，从而忽略了布局设计的语义复杂性。为了弥合这一差距，我们引入了 PosterLlama，这是一种通过将布局元素重新格式化为 HTML 代码并利用语言模型中蕴含的丰富设计知识，来生成视觉与文本连贯布局的网络。此外，我们通过独特的基于深度的海报增强策略增强了模型的鲁棒性。这确保了即使在数据有限的情况下，我们生成的布局依然语义丰富且视觉美观。我们在多个基准上的广泛评估表明，PosterLlama 在生成真实且内容感知的布局方面优于现有方法。它支持无与伦比的条件范围，包括但不限于无条件布局生成、元素条件布局生成、布局补全等，作为一个高度通用的用户操作工具。