Calligrapher：自由书写文本图像定制

我们介绍Calligrapher——一种新型基于扩散的框架，创新性地将高级文本定制与艺术性排版结合，用于数字书法和设计应用。针对排版定制中精确风格控制和数据依赖性的挑战，我们的框架包含三个关键技术贡献。首先，我们开发了一种自蒸馈机制，利用预训练的文本到图像生成模型本身以及大型语言模型，自动构建以风格为中心的排版基准。其次，我们引入一种通过可训练风格编码器实现的局部风格注入框架，其中包括Qformer和线性层，用于从参考图像中提取稳健的风格特征。还采用了一种原语生成机制，直接将参考图像嵌入到去噪过程中，从而进一步增强目标风格的精细对齐。广泛的定性和定量评估表明，Calligrapher在再现精细的风格细节和精确的字形位置方面表现出色。通过自动化高质量、视觉一致的排版，Calligrapher超越了传统模型，赋能数字艺术、品牌和情境排版设计中的创意实践者。