VectorFusion：通过抽象基于像素的扩散模型实现文本到 SVG
计算机视觉与模式识别
2022-11-22 v1 人工智能
图形学
机器学习
摘要
扩散模型在文本到图像合成中已展现出令人印象深刻的结果。利用海量带描述图像数据集，扩散模型学会生成高度多样化物体与场景的栅格图像。然而，设计师频繁使用图像的矢量表示如可缩放矢量图形（SVGs）用于数字图标或艺术。矢量图形可缩放至任意尺寸且紧凑。我们展示了在像素图像表示上训练的文本条件扩散模型可用于生成可导出 SVG 的矢量图形。我们无需访问大规模带描述 SVG 数据集即做到这一点。通过优化可微矢量图形栅格化器，我们的方法 VectorFusion 从预训练扩散模型中蒸馏出抽象语义知识。受近期文本到 3D 工作启发，我们利用分数蒸馏采样（Score Distillation Sampling）学习与原描述一致的 SVG。为加速生成并提升保真度，VectorFusion 还从图像样本初始化。实验显示出优于先前工作的质量，并展示了包括像素艺术与草图在内的多种风格。参见我们的项目网页 https://ajayj.com/vectorfusion 。
引用
@article{arxiv.2211.11319,
title = {VectorFusion: Text-to-SVG by Abstracting Pixel-Based Diffusion Models},
author = {Ajay Jain and Amber Xie and Pieter Abbeel},
journal= {arXiv preprint arXiv:2211.11319},
year = {2022}
}
备注
Project webpage: https://ajayj.com/vectorfusion