VitaGlyph：通过灵活双分支扩散模型赋能艺术排版

艺术排版是一种将输入字符的意义以可想象且可读的方式进行可视化的技术。凭借强大的文本到图像扩散模型，现有方法直接设计输入字符的整体几何与纹理，难以兼顾创意与可读性。本文引入一种称为 VitaGlyph 的双分支、训练自由的方法，实现可控几何变更的灵活艺术排版，同时保持可读性。VitaGlyph 的关键思想是将输入字符视为由主体及其周围环境组成的场景，二者以不同程度的几何变换进行渲染，以增强生成艺术排版的视觉吸引力与创意性：主体灵活表达输入字符的核心概念，周围环境丰富背景而不改变字符形状，从而维持整体可读性。具体而言，VitaGlyph 通过三个阶段实现：（i）知识获取阶段利用大型语言模型为主体与周围环境设计文本描述；（ii）区域解释阶段检测最贴近主体描述的区域，并通过语义排版进行结构细化；（iii）注意力式组合生成阶段分别渲染主体与周围区域的纹理，并以注意力机制进行融合。实验结果表明，VitaGlyph 不仅实现更好的艺术性与可读性，还能描绘多个定制化概念，促进更具创意和愉悦的艺术排版生成。我们的代码将公开发布。