UTDesign：用于图形设计图像中风格化文本编辑与生成的统一框架

AI辅助的图形设计已成为自动化创建和编辑设计元素（如海报、横幅和广告）的强大工具。尽管扩散式文本到图像模型在视觉内容生成方面显示出强大的能力，但其文本渲染性能——尤其是针对小尺寸排版和非拉丁脚本——仍有限。本文提出UTDesign，一个用于设计图像中高精度风格化文本编辑和条件文本生成的统一框架，支持英文和中文脚本。我们的框架引入了一个基于DiT的文本风格迁移模型，从合成数据集中从零开始训练，能够生成保持参考字形风格的透明RGBA文本前景。我们进一步通过在带有详细文本注释的精选数据集上训练多模态条件编码器，将该模型扩展为条件文本生成框架，实现对背景图像、提示和布局规范的准确、风格一致的文本合成。最后，我们通过整合预训练文本到图像（T2I）模型和基于MLLM的布局规划器，将我们的方案集成到完全自动化的文本到设计（T2D）管道中。大量实验表明，UTDesign在风格一致性和文本准确性方面实现了开源方法的最新性能，同时在与专有商业方法之间显示出独特优势。本论文的代码和数据可在 https://github.com/ZYM-PKU/UTDesign 获取。