标记技巧：图神经网络用于多节点表示学习的理论
机器学习
2022-01-19 v5
摘要
本文提供了使用图神经网络（GNNs）进行多节点表示学习（我们关注学习多于一个节点组成的集合的表示，如链接）的理论。我们知道 GNN 被设计用于学习单节点表示。当我们想学习涉及多个节点的节点集表示时，先前工作的常见做法是直接将 GNN 获得的单节点表示聚合成联合节点集表示。本文中，我们展示了这种方法的一个基本局限，即无法捕获节点集中节点间的依赖关系，并论证直接聚合个体节点表示不能得到有效的多节点联合表示。接着，我们注意到少数先前成功的多节点表示学习工作，包括 SEAL、Distance Encoding 和 ID-GNN，都使用了节点标记。这些方法在应用 GNN 之前，根据节点与目标节点集的关系对图中节点进行标记。然后，将标记图中获得的节点表示聚合成节点集表示。通过探究其内在机制，我们将这些节点标记技术统一为单一且最一般的形式——标记技巧。我们证明，借助标记技巧，充分具表达力的 GNN 能学习最具表达力的节点集表示，从而原则上解决任意节点集上的联合学习任务。在一个重要的双节点表示学习任务（链接预测）上的实验验证了我们的理论。我们的工作解释了先前基于节点标记方法的优越性能，并建立了使用 GNN 进行多节点表示学习的理论基础。
引用
@article{arxiv.2010.16103,
title = {Labeling Trick: A Theory of Using Graph Neural Networks for Multi-Node Representation Learning},
author = {Muhan Zhang and Pan Li and Yinglong Xia and Kai Wang and Long Jin},
journal= {arXiv preprint arXiv:2010.16103},
year = {2022}
}
备注
Accepted to NeurIPS 2021