基于位置编码的图神经网络重连方法
机器学习
2023-12-14 v4
摘要
近期若干工作使用位置编码来扩展配备注意力机制的图神经网络（GNN）层的感受野。然而，这些技术要么将感受野扩展到整个图，带来巨大的计算开销并可能改变传统 GNN 的归纳偏置，要么需要复杂的架构调整。作为一种保守的替代方案，我们使用位置编码将感受野扩展到 跳邻域。更具体地，我们的方法通过添加额外的节点/边来增广输入图，并将位置编码用作节点和/或边特征。因此，我们在将图输入到下游 GNN 模型之前对其进行修改，而非修改模型本身。这使得我们的方法具有模型无关性，即与任何现有 GNN 架构兼容。我们还提供了与原始图和修改后图之间一一映射的无损位置编码示例。我们证明，通过位置编码和虚拟全连接节点扩展感受野，能在较小的 下显著提升 GNN 性能并缓解过度压缩（over-squashing）。我们在多种模型和数据集上取得改进，并使用传统 GNN 或图 Transformer 达到了具有竞争力的性能。
引用
@article{arxiv.2201.12674,
title = {Rewiring with Positional Encodings for Graph Neural Networks},
author = {Rickard Brüel-Gabrielsson and Mikhail Yurochkin and Justin Solomon},
journal= {arXiv preprint arXiv:2201.12674},
year = {2023}
}