强结构编码能否降低消息传递的重要性？
机器学习
2023-10-25 v1
摘要
在图上运行的最普遍神经网络类别是消息传递神经网络（MPNNs），其中节点表示通过迭代聚合 1-跳邻域信息来更新。由于这种计算节点嵌入的范式可能阻碍模型学习粗粒度拓扑结构，初始特征常辅以图的结构信息，典型形式为拉普拉斯特征向量或随机游走转移概率。本文中，我们探究在提供强结构编码时消息传递的贡献。我们引入一种基于特征与结构信息张量积（而非标准拼接）建模二者交互的新方法。该交互选择在常见场景以及消息传递层容量被严重削减乃至完全移除消息传递阶段的设定下进行了比较。我们的结果表明，基于张量的编码始终至少与基于拼接的编码表现相当，并且在移除消息传递层时使模型更加鲁棒，在某些任务上性能几乎无下降。这表明，当模型能构建强结构编码时，消息传递的重要性是有限的。
引用
@article{arxiv.2310.15197,
title = {Can strong structural encoding reduce the importance of Message Passing?},
author = {Floor Eijkelboom and Erik Bekkers and Michael Bronstein and Francesco Di Giovanni},
journal= {arXiv preprint arXiv:2310.15197},
year = {2023}
}