统一图神经网络中的过平滑与过压缩：一种物理启发方法及其拓展
机器学习
2023-09-14 v2
摘要
图神经网络（GNN）已成为图结构数据机器学习的主流方法之一。尽管取得了巨大成功，过平滑、过压缩和有限表达能力等关键计算挑战仍持续影响 GNN 的性能。受经典与量子物理中常用的时间反演原理启发，本研究反转了图热方程的时间方向。所得的反演过程产生一类高通滤波函数，可增强图节点特征的锐度。利用该概念，我们通过融合不同滤波函数对节点特征的作用，提出了基于多尺度热核的 GNN（MHKG）。为探索更灵活的滤波条件，我们进一步将 MHKG 推广为称为 G-MHKG 的模型，并透彻展示了各元素在控制过平滑、过压缩与表达能力中的作用。值得注意的是，我们说明上述所有问题均可通过滤波函数的性质来刻画与分析，并揭示了过平滑与过压缩之间的权衡：增强节点特征锐度会使模型更易受过度压缩影响，反之亦然。此外，我们再次操控时间，展示了 G-MHKG 如何在温和条件下同时应对这两个问题。我们的总结性实验凸显了所提模型的有效性，在同质与异质图数据集上均超越了多个 GNN 基线模型。
引用
@article{arxiv.2309.02769,
title = {Unifying over-smoothing and over-squashing in graph neural networks: A physics informed approach and beyond},
author = {Zhiqi Shao and Dai Shi and Andi Han and Yi Guo and Qibin Zhao and Junbin Gao},
journal= {arXiv preprint arXiv:2309.02769},
year = {2023}
}