ChArtist：用于生成带统一空间与主题控制的图表图像

图表是一种有效的可视化叙事媒介，能够无缝整合视觉元素与数据图表。然而，创建此类图像具有挑战性，因为视觉元素的灵活性常常与图表结构的刚性相冲突。这一过程因此需要保持数据忠实性和视觉美学之间的创造性变形。当前依赖从自然图像中提取稠密结构线索（如边缘或深度图）的方法，不适合作为图表生成的条件信号。我们提出 ChArtist，一个针对图表自动生成的领域特定扩散模型，提供两种不同的控制方式：1）空间控制与图表结构良好匹配；2）主题驱动控制尊重参考图像的视觉特征。为实现此目标，我们引入基于骨架的空间控制表示。该表示仅编码图表的数据编码信息，允许轻松地在不受刚性轮廓约束的情况下整合参考视觉元素。我们基于扩散变换器（DiT）实现该方法，并利用自适应位置编码机制来管理这两种控制。我们进一步引入空间门控注意力机制，以调制空间控制与主题控制之间的相互作用。为支持针对此任务对预训练模型进行微调，我们构建了一个包含 30,000 个三元组（骨架、参考图像、图表）的大型数据集。我们还提出了统一的数据准确性度量标准，用于评估生成图表的数据忠实度。我们认为本工作表明，当前的生成模型通过超越通用条件转向任务特定表示，即可实现数据驱动的可视化叙事。项目页面：https://chartist-ai.github.io/。