Gransformer：基于 Transformer 的图生成

Transformer 已广泛应用于各种任务，如自然语言处理与机器视觉。本文提出 Gransformer，一种基于 Transformer 用于生成图的算法。我们修改 Transformer 编码器以利用给定图的结构信息。注意力机制被调整为考虑每对节点之间边的存在与否。我们还引入一种基于图的节点对熟悉度度量，应用于注意力与位置编码。该熟悉度度量基于消息传递算法，并包含图的结构信息。此外，该度量是自回归的，使得我们的模型能在单次前向传播中获取所需的条件概率。在输出层，我们还使用掩码自编码器进行密度估计，以高效建模连接到每个节点的依赖边的序列生成。另外，我们提出一种技术，通过使用 BFS 节点排序防止模型生成与前驱节点无连接的孤立节点。我们使用合成与真实世界数据集评估该方法，并与相关方法（包括循环模型与图卷积网络）比较。实验结果表明所提方法性能与这些方法相当。