将图展平为序列：Transformer 是可扩展的图生成器
机器学习
2025-12-09 v3 机器学习
摘要
我们引入了 AutoGraph，一种使用仅解码器 Transformer 的用于属性图生成的可扩展自回归模型。通过可逆过程将图展平为随机的 token 序列，AutoGraph 能够将图作为序列进行建模，而无需依赖计算成本高昂的额外节点特征，这与基于扩散的方法形成对比。这使得采样复杂度和序列长度与边数呈最优的线性缩放关系，使其对于大型稀疏图具有可扩展性和高效性。AutoGraph 成功的一个关键因素是其序列前缀表示诱导子图，从而与语言建模中的子句子建立了直接联系。在实验上，AutoGraph 在合成和分子基准测试上实现了 SOTA 性能，生成速度比领先的扩散模型快 100 倍，训练速度快 3 倍。它还支持无需微调的子结构条件生成，并展现出良好的可迁移性，将语言建模与图生成联系起来，为图基础模型奠定了基础。我们的代码可在 https://github.com/BorgwardtLab/AutoGraph 获取。
关键词
引用
@article{arxiv.2502.02216,
title = {Flatten Graphs as Sequences: Transformers are Scalable Graph Generators},
author = {Dexiong Chen and Markus Krimmel and Karsten Borgwardt},
journal= {arXiv preprint arXiv:2502.02216},
year = {2025}
}
备注
Camera-ready version published at NeurIPS 2025