理解虚拟节点：过度挤压与节点异质性
机器学习
2025-04-08 v3
摘要
虽然消息传递神经网络（MPNN）在一系列应用中取得了令人信服的成功，但它们存在局限性，例如过度挤压问题以及无法捕获长程交互。用虚拟节点（VN）增强MPNN消除了层聚合的局部性约束，并已被发现能提高一系列基准的性能。我们通过过度挤压和灵敏度分析的视角，对VN的作用及其益处进行了全面的理论分析。首先，我们精确地刻画了VN在改善网络混合能力从而缓解过度挤压方面的改进如何依赖于底层拓扑。然后，我们强调，与图变换器（GT）不同，VN的经典实例化通常被约束为对不同节点赋予均匀的重要性。因此，我们提出了一种具有相同计算复杂度的VN变体，该变体可以根据图结构对节点具有不同的灵敏度。我们表明，对于图级任务，这是一个非常有效且计算高效的基线。
引用
@article{arxiv.2405.13526,
title = {Understanding Virtual Nodes: Oversquashing and Node Heterogeneity},
author = {Joshua Southern and Francesco Di Giovanni and Michael Bronstein and Johannes F. Lutzeyer},
journal= {arXiv preprint arXiv:2405.13526},
year = {2025}
}