GNN中的全局极小值、可恢复阈值与高阶结构
机器学习
2023-10-12 v1 人工智能
摘要
我们从随机图理论的角度分析了图神经网络（GNN）架构的性能。我们的方法有望补充现有的GNN分析视角，例如组合表达力与最坏情况对抗分析，将GNN的性能与训练数据的典型性质相联系。首先，我们从理论上刻画了一层与两层GCN相对于上下文随机块模型（cSBM）及相关模型的逐节点准确率。我们还证明了在某些情形下GCN无法击败线性模型。其次，我们在关于数据的多种假设下，数值化地绘制了四种不同GNN架构（GCN、GAT、SAGE与Graph Transformer）在准确率意义上的可恢复阈值。该第二项分析的示例结果包括：重尾度分布提升GNN性能；GNN可在强异配图上表现良好；SAGE与Graph Transformer可在任意噪声边数据上表现良好，但没有任何架构能很好处理充分噪声的特征数据。最后，我们展示了合成数据中特定的高阶结构以及真实数据中经验结构的混合如何对GNN性能产生剧烈影响（通常为负面）。
引用
@article{arxiv.2310.07667,
title = {Global Minima, Recoverability Thresholds, and Higher-Order Structure in GNNS},
author = {Drake Brown and Trevor Garrity and Kaden Parker and Jason Oliphant and Stone Carson and Cole Hanson and Zachary Boyd},
journal= {arXiv preprint arXiv:2310.07667},
year = {2023}
}
备注
28 pages