GlyphDraw2：基于扩散模型与大语言模型的复杂字形海报自动生成
计算机视觉与模式识别
2025-02-13 v4
摘要
海报通过增强视觉传达和品牌可见度，在营销和广告中发挥着至关重要的作用，为工业设计做出了重大贡献。随着可控 T2I 扩散模型的最新进展，越来越多的研究关注在合成图像中渲染文本。尽管文本渲染准确性有所提高，但自动海报生成领域仍鲜有探索。在本文中，我们提出了一种利用 LLM 并具备文本渲染能力的自动海报生成框架，采用基于对齐学习的三重交叉注意力机制。该框架旨在在详细的上下文背景中生成精确的海报文本。此外，该框架支持可控字体、可调图像分辨率，以及渲染包含英文和中文描述与文本的海报。进一步地，我们引入了高分辨率字体数据集和分辨率超过 1024 像素的海报数据集。我们的方法利用了 SDXL 架构。大量实验验证了我们的方法在生成具有复杂且丰富上下文背景的海报图像方面的能力。代码可在 https://github.com/OPPO-Mente-Lab/GlyphDraw2 获取。
引用
@article{arxiv.2407.02252,
title = {GlyphDraw2: Automatic Generation of Complex Glyph Posters with Diffusion Models and Large Language Models},
author = {Jian Ma and Yonglin Deng and Chen Chen and Nanyang Du and Haonan Lu and Zhenyu Yang},
journal= {arXiv preprint arXiv:2407.02252},
year = {2025}
}
备注
Accepted by AAAI2025