Pard：用于图生成的置换不变自回归扩散模型
机器学习
2024-12-04 v3 机器学习
摘要
图生成领域一直由自回归模型主导，因为它们简单有效，尽管它们对顺序敏感。然而，扩散模型因其在保持置换不变性的同时提供可比的性能而受到越来越多的关注。当前的图扩散模型以一次性方式生成图，但它们需要额外的特征和数千个去噪步骤才能达到最佳性能。我们引入了PARD，一种置换不变自回归扩散模型，它将扩散模型与自回归方法相结合。PARD利用了自回归模型的有效性和效率，同时保持了置换不变性，没有顺序敏感性。具体来说，我们证明与集合相反，图中的元素并非完全无序，节点和边存在唯一的偏序。利用这种偏序，PARD以逐块、自回归的方式生成图，其中每个块的概率由一个共享的扩散模型和一个等变网络条件化建模。为了在保证表达力的同时确保效率，我们进一步提出了一种高阶图Transformer，它将Transformer与PPGN集成。像GPT一样，我们扩展了高阶图Transformer以支持所有块的并行训练。无需任何额外特征，PARD在分子和非分子数据集上实现了最先进的性能，并可扩展到包含190万个分子的大型数据集（如MOSES）。Pard已在https://github.com/LingxiaoShawn/Pard开源。
引用
@article{arxiv.2402.03687,
title = {Pard: Permutation-Invariant Autoregressive Diffusion for Graph Generation},
author = {Lingxiao Zhao and Xueying Ding and Leman Akoglu},
journal= {arXiv preprint arXiv:2402.03687},
year = {2024}
}
备注
Diffusion Model on Graphs