图神经网络在随机图上可计算何种函数？位置编码的作用
机器学习
2023-05-25 v1 机器学习
摘要
我们旨在深化对大图上图神经网络（GNNs）的理论理解，重点关注其表达能力。现有分析将该概念与图同构问题相关联，这主要适用于小规模图，或研究图分类与回归任务，而节点上的预测任务在大图上更为相关。近来，若干工作表明，在非常通用的随机图模型上，随着节点数增长，GNNs 收敛于某些函数。本文通过涵盖若干先前示例的通用收敛概念，对节点任务中等变 GNNs 所生成的函数空间给出了更完整且直观的描述。我们强调输入节点特征的作用，并研究节点位置编码（PEs）的影响——这是一条近期在实践中取得最先进结果的研究路线。通过对大随机图上若干 PEs 示例的研究，我们将先前已知的通用性结果扩展至显著更通用的模型。我们的理论结果暗示了一些归一化技巧，数值实验表明其对合成与真实数据上 GNN 的泛化有正向影响。我们的证明中包含具有独立意义的新集中不等式。
引用
@article{arxiv.2305.14814,
title = {What functions can Graph Neural Networks compute on random graphs? The role of Positional Encoding},
author = {Nicolas Keriven and Samuel Vaiter},
journal= {arXiv preprint arXiv:2305.14814},
year = {2023}
}