图神经网络评估中的陷阱
机器学习
2019-06-19 v2 社会与信息网络
机器学习
摘要
图中的半监督节点分类是图挖掘中的一个基本问题，近来提出的图神经网络（GNNs）在该任务上取得了无与伦比的结果。由于其巨大成功，GNNs 吸引了大量关注，许多新颖的架构被提出。在本文中，我们表明现有的 GNN 模型评估策略存在严重缺陷。我们表明，使用相同数据集的相同训练/验证/测试划分，以及对训练过程（例如早停准则）做出显著改变，妨碍了对不同架构的公平比较。我们对四种著名的 GNN 模型进行了详尽的实证评估，并表明考虑数据的不同划分会导致模型排名的剧烈差异。更为重要的是，我们的发现表明，若对所有模型的超参数和训练过程进行公平调优，更简单的 GNN 架构能够胜过更复杂的架构。
引用
@article{arxiv.1811.05868,
title = {Pitfalls of Graph Neural Network Evaluation},
author = {Oleksandr Shchur and Maximilian Mumme and Aleksandar Bojchevski and Stephan Günnemann},
journal= {arXiv preprint arXiv:1811.05868},
year = {2019}
}