评估用于链接预测的图神经网络：当前陷阱与新的基准测试
机器学习
2023-11-21 v3 社会与信息网络
摘要
链接预测试图仅基于图的一部分边来预测一条未观测到的边是否存在。近年来涌现出大量方法，试图将图神经网络（GNNs）用于该任务。此外，也创建了新的多样化数据集以更好地评估这些新模型的有效性。然而，当前存在多个陷阱，阻碍了我们正确评估这些新方法的能力。这些陷阱主要包括：（1）多个基线性能低于实际值，（2）某些数据集上缺乏统一的数据划分和评估指标，以及（3）使用简单负样本的不现实评估设置。为克服这些挑战，我们首先在相同的数据集和超参数搜索设置下，对主流方法和数据集进行公平比较。然后，我们基于启发式相关采样技术（HeaRT）创建了一种更实用的评估设置，该技术通过多种启发式方法采样困难负样本。这一新评估设置通过使评估与真实世界情形对齐，促进了链接预测中新的挑战与机遇。我们的实现和数据可在 https://github.com/Juanhui28/HeaRT 获取。
引用
@article{arxiv.2306.10453,
title = {Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls and New Benchmarking},
author = {Juanhui Li and Harry Shomer and Haitao Mao and Shenglai Zeng and Yao Ma and Neil Shah and Jiliang Tang and Dawei Yin},
journal= {arXiv preprint arXiv:2306.10453},
year = {2023}
}