重新思考图神经网络的结构学习
机器学习
2024-11-13 v1
摘要
为了提升图神经网络（GNN）的性能，图结构学习（GSL）被广泛应用于重构或细化原始图结构，有效解决了异质性、过度压缩和噪声结构等问题。虽然 GSL 通常被认为能提高 GNN 性能，但它往往导致更长的训练时间和更多的超参数调优。此外，从 GNN 训练的角度来看，当前 GSL 方法之间的区别仍然模糊，且缺乏量化其有效性的理论分析。近期研究进一步表明，在相同超参数调优的公平比较下，GSL 并不总能持续优于基线 GNN。这促使我们提出一个关键问题：GSL 对 GNN 真的有用吗？为了解决这个问题，本文做出了两个关键贡献。首先，我们提出了一个新的 GSL 框架，包含三个步骤：GSL 基（用于 GSL 的表示）构建、新结构构建和视图融合，以更好地理解 GSL 在 GNN 中的有效性。其次，在图卷积之后，我们分析了源自原始拓扑的节点表示与源自新构建拓扑的节点表示之间的互信息（MI）差异。令人惊讶的是，我们的实证观察和理论分析表明，无论使用哪种图结构构建方法，在将相同的 GSL 基输入到新构建的图后，与原始 GSL 基相比，互信息没有增益。为了公平地重新评估 GSL 的有效性，我们进行了消融实验，发现是预训练的 GSL 基提升了 GNN 性能，而在大多数情况下，GSL 无法提升 GNN 性能。这一发现鼓励我们重新思考 GNN 设计中的核心组件，如自训练和结构编码，而不是 GSL。
引用
@article{arxiv.2411.07672,
title = {Rethinking Structure Learning For Graph Neural Networks},
author = {Yilun Zheng and Zhuofan Zhang and Ziming Wang and Xiang Li and Sitao Luan and Xiaojiang Peng and Lihui Chen},
journal= {arXiv preprint arXiv:2411.07672},
year = {2024}
}