图神经网络需要聚类-归一化-激活模块
机器学习
2024-12-06 v1 人工智能
摘要
图神经网络（GNN）是用于图结构数据的非欧几里得深度学习模型。尽管其应用广泛且成功，但由于节点特征会收敛到单一固定点，过度平滑现象阻碍了深层架构的发展。这严重限制了其解决复杂任务的潜力。为了抵消这一趋势，我们提出了一个即插即用的模块，包含三个步骤：聚类-归一化-激活（CNA）。通过应用 CNA 模块，GNN 在每一层中搜索并形成超节点，这些超节点被单独归一化和激活。我们在节点分类和属性预测任务中证明，CNA 显著提高了相对于最先进技术的准确率。特别是，CNA 在 Cora 和 CiteSeer 数据集上分别达到了 94.18% 和 95.75% 的准确率。它还在回归任务中使 GNN 受益，与所有基线相比均方误差有所降低。同时，带有 CNA 的 GNN 所需的可学习参数数量远少于竞争架构。
引用
@article{arxiv.2412.04064,
title = {Graph Neural Networks Need Cluster-Normalize-Activate Modules},
author = {Arseny Skryagin and Felix Divo and Mohammad Amin Ali and Devendra Singh Dhami and Kristian Kersting},
journal= {arXiv preprint arXiv:2412.04064},
year = {2024}
}
备注
17 pages, 6 figures, 6 tables, accepted at NeurIPS 2024