TextPainter：面向海报设计中视觉和谐与文本理解的多模态文本图像生成
计算机视觉与模式识别
2023-08-15 v3
摘要
文本设计是海报设计中最关键的环节之一，因为它严重依赖人类的创造力和专业知识，在考虑视觉和谐与文本语义的前提下设计文本图像。本研究提出TextPainter，一种利用上下文视觉信息和相应文本语义来生成文本图像的新颖多模态方法。具体而言，TextPainter以全局-局部背景图像作为风格提示，并引导生成具有视觉和谐的文本图像。此外，我们利用语言模型并引入文本理解模块，以实现句子级和词级的风格变化。另外，我们构建了PosterT80K数据集，包含约8万张标注了句子级边界框和文本内容的海报。我们希望该数据集能为多模态文本图像生成的进一步研究铺平道路。大量定量和定性实验表明，TextPainter能为海报生成视觉与语义和谐统一的文本图像。
引用
@article{arxiv.2308.04733,
title = {TextPainter: Multimodal Text Image Generation with Visual-harmony and Text-comprehension for Poster Design},
author = {Yifan Gao and Jinpeng Lin and Min Zhou and Chuanbin Liu and Hongtao Xie and Tiezheng Ge and Yuning Jiang},
journal= {arXiv preprint arXiv:2308.04733},
year = {2023}
}
备注
Accepted to ACM MM 2023. Dataset Link: https://tianchi.aliyun.com/dataset/160034