重新评估异配图学习的进展

在过去十年中，图神经网络（GNN）在关系数据的机器学习任务上取得了巨大成功。然而，最近的研究发现，异配性可能导致GNN性能显著下降，尤其是在节点级任务上。许多异配基准数据集已被提出以验证特定于异配性的GNN的有效性，并且设计了各种同配性度量来帮助识别这些具有挑战性的数据集。尽管如此，仍然存在多个严重阻碍新模型和度量标准正确评估的陷阱：1）缺乏超参数调优；2）在真正具有挑战性的异配数据集上评估不足；3）缺少在合成图上对同配性度量的定量评估。为了克服这些挑战，我们首先在27个最广泛使用的基准数据集上训练和微调基线模型，并将它们分为三个不同的组别：恶性、良性和模糊异配数据集。我们将恶性和模糊异配性识别为真正具有挑战性的任务子集，据我们所知，我们是首次提出这种分类法的。然后，我们重新评估了11个最先进的GNN，涵盖了六种流行方法，并在不同组别的异配数据集上使用了微调后的超参数。基于模型性能，我们全面重新评估了不同方法在异配性上的有效性。最后，我们使用三种不同的图生成方法，在合成图上评估了11种流行的同配性度量。为了克服基于观察的比较和评估的不可靠性，我们进行了首次定量评估并提供了详细分析。