图神经网络节点分类的简化方法
机器学习
2021-11-15 v1 机器学习
摘要
图神经网络已成为从图结构数据中学习不可或缺的工具之一,其在多种任务中的效用已得到广泛证明。近年来,架构设计取得了巨大进步,在各种预测任务上实现了更好的性能。一般而言,这些神经架构在同一层中结合节点特征聚合与使用可学习权重矩阵的特征变换。这使得分析从各跳聚合而来的节点特征的重要性以及神经网络层的表达能力变得具有挑战性。由于不同的图数据集在特征和类标签分布上表现出不同程度的同配性与异配性,在没有先验信息的情况下理解哪些特征对预测任务重要变得至关重要。在这项工作中,我们解耦了节点特征聚合步骤与图神经网络的深度,并实证分析了不同聚合特征如何在预测性能中发挥作用。我们表明,并非所有通过聚合步骤生成的特征都有用,且使用这些信息量较少的特征往往不利于GNN模型的性能。通过实验,我们表明学习这些特征的某些子集可在多种数据集上带来更好的性能。我们提出使用softmax作为从不同跳距离聚合的邻居特征的正则化器与“软选择器”,以及GNN层上的L2归一化。结合这些技术,我们提出了一个简单而浅层的模型——特征选择图神经网络(FSGNN),并实证表明所提模型在九个基准数据集的节点分类任务上取得了与最先进GNN模型相当甚至更高的准确率,最高提升达51.1%。
引用
@article{arxiv.2111.06748,
title = {Simplifying approach to Node Classification in Graph Neural Networks},
author = {Sunil Kumar Maurya and Xin Liu and Tsuyoshi Murata},
journal= {arXiv preprint arXiv:2111.06748},
year = {2021}
}
备注
arXiv admin note: substantial text overlap with arXiv:2105.07634