隐式图神经扩散网络：收敛性、泛化性与过平滑
机器学习
2024-02-16 v2
摘要
隐式图神经网络（GNNs）近来在解决图学习问题上取得了显著成功。然而，设计欠佳的隐式 GNN 层可能对学习图度量适应性有限、遭遇过平滑问题，或表现出次优的收敛与泛化性质，可能阻碍其实用性能。为解决这些问题，我们引入了一个基于参数化图拉普拉斯算子的几何框架来设计隐式图扩散层。我们的框架允许从数据中学习顶点与边空间的度量，以及图扩散强度。我们展示了隐式 GNN 层如何被视为一个 Dirichlet 能量最小化问题的不动点方程，并给出了其在训练（OST）与推断（OSI）期间可能遭受过平滑的条件。我们进一步提出了一种新的隐式 GNN 模型以避免 OST 和 OSI。我们确立，在选取大于参数化图拉普拉斯算子最大特征值的适当超参数时，DIGNN 保证唯一平衡、快速收敛和强泛化界。我们的模型在节点与图分类任务的基准数据集上展现出优于大多数隐式与显式 GNN 基线的性能。
引用
@article{arxiv.2308.03306,
title = {Implicit Graph Neural Diffusion Networks: Convergence, Generalization, and Over-Smoothing},
author = {Guoji Fu and Mohammed Haroon Dupty and Yanfei Dong and Lee Wee Sun},
journal= {arXiv preprint arXiv:2308.03306},
year = {2024}
}
备注
57 pages