没有放之四海皆准的度量：迈向图学习数据集的原则性评估

基准数据集已被证明对图学习的成功至关重要，而好的基准数据集对于指导该领域的发展也极为关键。近期的研究揭示了图学习数据集和基准测试实践中存在的问题——例如，揭示了忽略图结构的方法可以优于基于图的方法。这些发现引出了两个问题：（1）什么构成了一个好的图学习数据集？（2）我们如何评估图学习中的数据集质量？我们的工作致力于解决这些问题。由于经典的评估设置是使用数据集来评估模型，因此它不适用于数据集评估。因此，我们从基本原理出发。观察到图学习数据集独特地结合了两种模态——图结构和节点特征——我们引入了Rings，一个灵活且可扩展的模态扰动框架，用于基于数据集消融来评估图学习数据集的质量——即，量化原始数据集与其扰动表示之间的差异。在此框架内，我们提出了两种度量——性能可分性和模态互补性——作为评估工具，每种度量都从一个独特的角度评估图数据集对图学习方法的能力和效用的基准测试能力。我们通过在图层面的任务上进行大量实验，展示了我们框架在数据集评估中的实用性，并得出了改进图学习方法评估的可操作建议。我们的工作开启了以数据为中心的图学习的新研究方向，并构成了迈向系统性评估之评估的一步。