DS-Fusion：基于判别与风格化扩散的艺术字体排版
计算机视觉与模式识别
2023-03-20 v1 图形学
摘要
我们提出一种新方法，通过将一个或多个字母字体风格化以在视觉上传达输入词的语义，同时保证输出可读，从而自动生成艺术字体排版。为应对手头任务的一系列挑战——包括冲突目标（艺术风格化 vs. 易读性）、缺乏真值与巨大搜索空间——我们的方法利用大语言模型桥接文本与视觉图像以进行风格化，并构建以扩散模型为骨干的无监督生成模型。具体而言，我们采用隐扩散模型（LDM）中的去噪生成器，关键新增基于 CNN 的判别器以将输入风格适配到输入文本。判别器以给定字母/单词字体的光栅化图像作为真实样本，以去噪生成器输出作为伪造样本。我们的模型称为 DS-Fusion（discriminated and stylized diffusion，判别与风格化扩散）。我们通过大量示例、定性与定量评估以及消融研究展示方法的品质与通用性。与强基线（包括 CLIPDraw 与 DALL-E 2）及艺术家手工字体排版的用户研究比较，展示了 DS-Fusion 的强劲表现。
引用
@article{arxiv.2303.09604,
title = {DS-Fusion: Artistic Typography via Discriminated and Stylized Diffusion},
author = {Maham Tanveer and Yizhi Wang and Ali Mahdavi-Amiri and Hao Zhang},
journal= {arXiv preprint arXiv:2303.09604},
year = {2023}
}
备注
Project website: https://ds-fusion.github.io/