中文

图作为点集

机器学习 2024-06-03 v2

摘要

图是一种基本的数据结构,用于建模实体之间的相互连接。相反,集合存储独立元素。为了学习图表示,当前的图神经网络(GNN)主要使用消息传递来编码相互连接。相比之下,本文引入了一种新颖的图到集合转换方法,该方法将相互连接的节点双射地转换为一组独立点,然后使用集合编码器学习图表示。这种转换方法具有双重意义。首先,它使得集合编码器能够从图中学习,从而显著扩展了GNN的设计空间。其次,对于Transformer(一种特定的集合编码器),我们提供了一种新颖且有原则的方法来无损地注入图信息,不同于先前图Transformer中采用的所有启发式结构/位置编码方法。为了证明我们方法的有效性,我们提出了点集Transformer(PST),这是一种接受从图转换而来的点集作为输入的Transformer架构。理论上,与现有GNN相比,PST在短程子结构计数和长程最短路径距离任务上表现出优越的表达能力。大量实验进一步验证了PST在现实世界中的出色性能。除了Transformer,我们还设计了一个基于Deepset的集合编码器,其性能与代表性GNN相当,证实了我们图到集合方法的通用性。

关键词

引用

@article{arxiv.2405.02795,
  title  = {Graph as Point Set},
  author = {Xiyuan Wang and Pan Li and Muhan Zhang},
  journal= {arXiv preprint arXiv:2405.02795},
  year   = {2024}
}

备注

accepted in ICML 2024