GNN 究竟学到了什么？迈向对其表示的理解
机器学习
2024-11-25 v2
摘要
近年来，图神经网络（GNNs）在图表示学习领域取得了巨大成功。尽管已有工作揭示了这些模型的表达能力（即它们是否能区分非同构图对），但仍不清楚这些模型学习到的节点表示中编码了何种结构信息。在本文中，我们通过研究四种标准 GNN 模型学习到的节点表示来弥补这一空白。我们发现某些模型为所有节点生成相同表示，而其他模型学习到的表示与从节点出发的特定长度步游走的某种概念相关联。我们针对（归一化）步游走的数量建立了这些模型的 Lipschitz 界。此外，我们研究了节点特征对所学表示的影响。我们发现，若所有节点的初始表示指向同一方向，则模型第 层学到的表示也与恰好可在 步内到达的节点的初始特征相关。我们还应用我们的发现来理解 GNN 中出现的过压缩现象。我们的理论分析通过在合成与真实世界数据集上的实验得到验证。
引用
@article{arxiv.2304.10851,
title = {What Do GNNs Actually Learn? Towards Understanding their Representations},
author = {Giannis Nikolentzos and Michail Chatzianastasis and Michalis Vazirgiannis},
journal= {arXiv preprint arXiv:2304.10851},
year = {2024}
}