利用现成扩散模型进行排版文本生成
计算机视觉与模式识别
2024-02-23 v1
摘要
最近基于扩散的生成模型在生成文本图像方面展现出潜力，但在指定制成文本风格方面的局限性使其在排版设计领域显得不足。本文提出了一种排版文本生成系统，用于在排版设计上添加和修改文本，同时指定字体风格、颜色和文本效果。该系统是两种现成扩散模型方法 ControlNet 和 Blended Latent Diffusion 的新颖组合。前者功能是在指定笔画轮廓的边缘条件指导下生成文本图像。后者在潜在扩散模型（LDM）中混合潜在噪声，从而将排版文本自然地添加到现有背景上。我们首先表明，给定适当的文本边缘，ControlNet 可以生成指定字体的文本，同时融入由提示描述的效果。我们进一步引入文本边缘操作作为一种直观且可定制的方式，以产生具有“阴影”和“反射”等复杂效果的文本。最后，利用所提出的系统，我们成功地在预定义背景上添加和修改文本，同时保持了其整体连贯性。
引用
@article{arxiv.2402.14314,
title = {Typographic Text Generation with Off-the-Shelf Diffusion Model},
author = {KhayTze Peong and Seiichi Uchida and Daichi Haraguchi},
journal= {arXiv preprint arXiv:2402.14314},
year = {2024}
}