距离编码：设计可证明更强大的图表示学习神经网络
机器学习
2020-10-30 v4 机器学习
摘要
学习图中节点集合的表示对于从节点角色发现到链接预测和分子分类等应用至关重要。图神经网络（GNNs）在图表示学习中取得了巨大成功。然而，GNNs 的表达能力受限于 1-Weisfeiler-Lehman（WL）测试，因此 GNNs 会为实际上可能非常不同的图子结构生成相同的表示。最近提出的更强大的 GNNs 通过模仿高阶 WL 测试，只关注表示整个图，并且由于无法利用底层图的稀疏性而计算效率低下。在此我们提出并从数学上分析一类通用的结构相关特征，称为距离编码（DE）。DE 辅助 GNNs 表示任意节点集合，同时提供严格强于 1-WL 测试的表达能力。DE 捕获待学习表示的节点集合与图中每个节点之间的距离。为捕获距离，DE 可应用各种图距离度量，如最短路径距离或广义 PageRank 分数。我们提出 GNNs 使用 DEs 的两种方式：（1）作为额外节点特征，以及（2）作为 GNNs 中消息聚合的控制器。两种方法都能利用底层图的稀疏结构，从而带来计算效率和可扩展性。我们还证明 DE 能区分嵌入在几乎所有正则图中的节点集合，而传统 GNNs 总是失败。我们在六个真实网络上的三项任务评估 DE：结构角色预测、链接预测和三角形预测。结果显示我们的模型在准确率和 AUROC 上比无 DE 的 GNNs 高出至多 15%。此外，我们的模型也显著优于其他专为上述任务设计的最先进方法。
引用
@article{arxiv.2009.00142,
title = {Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning},
author = {Pan Li and Yanbang Wang and Hongwei Wang and Jure Leskovec},
journal= {arXiv preprint arXiv:2009.00142},
year = {2020}
}
备注
NeurIPS 2020