SwinGNN：重新思考图生成扩散模型中的置换不变性
机器学习
2024-06-21 v4 人工智能
摘要
基于置换等变网络的扩散模型能够学习图数据的置换不变分布。然而，与对应的非不变模型相比，我们发现这些不变模型面临更大的学习挑战，因为：1）其有效目标分布具有更多模态；2）其最优单步去噪分数是具有更多分量的高斯混合的分数函数。受此分析启发，我们提出了一种非不变扩散模型，称为，它采用高效的边到边 2-WL 消息传递网络，并利用受 SwinTransformers 启发的基于移位窗口的自注意力。此外，通过系统的消融实验，我们确定了若干关键训练和采样技术，可显著提升图生成的样本质量。最后，我们引入了一个简单的后处理技巧，即随机置换生成的图，该技巧可证明地将任何图生成模型转化为置换不变的模型。在合成以及真实世界的蛋白质和分子数据集上的大量实验表明，我们的 SwinGNN 达到了最先进的性能。我们的代码发布于 https://github.com/qiyan98/SwinGNN。
引用
@article{arxiv.2307.01646,
title = {SwinGNN: Rethinking Permutation Invariance in Diffusion Models for Graph Generation},
author = {Qi Yan and Zhengyang Liang and Yang Song and Renjie Liao and Lele Wang},
journal= {arXiv preprint arXiv:2307.01646},
year = {2024}
}
备注
TMLR 2024