TikZero：零样本文本引导的图形程序合成
计算与语言
2025-08-15 v3 计算机视觉与模式识别
摘要
从文本描述自动合成图形是一项引人注目的能力。然而，要实现高几何精度和可编辑性，需要将图形表示为 TikZ 等语言的图形程序，而对齐的训练数据（即带有描述的图形程序）仍然稀缺。同时，大量未对齐的图形程序和带描述的光栅图像则更容易获取。我们通过提出 TikZero 来调和这些不同的数据源，该方法通过使用图像表示作为中间桥梁，将图形程序生成与文本理解解耦。它支持在图形程序和带描述的图像上进行独立训练，并允许在推理时进行零样本文本引导的图形程序合成。我们表明，我们的方法显著优于只能使用描述对齐图形程序的基线方法。此外，当利用描述对齐的图形程序作为补充训练信号时，TikZero 的性能匹配或超越了包括 GPT-4o 在内的更大规模的模型。我们的代码、数据集和部分模型已公开发布。
引用
@article{arxiv.2503.11509,
title = {TikZero: Zero-Shot Text-Guided Graphics Program Synthesis},
author = {Jonas Belouadi and Eddy Ilg and Margret Keuper and Hideki Tanaka and Masao Utiyama and Raj Dabre and Steffen Eger and Simone Paolo Ponzetto},
journal= {arXiv preprint arXiv:2503.11509},
year = {2025}
}
备注
Accepted at ICCV 2025 (highlight); Project page: https://github.com/potamides/DeTikZify