GraphWorld：用合成图揭示GNN的真实洞察

尽管图神经网络（GNN）领域取得了进展，目前仅使用少量（约5个）数据集来评估新模型。这种持续依赖少数数据集对模型间性能差异提供的洞察极少，并且对工业界从业者尤其具有挑战性，因为其数据集很可能不同于用作学术基准的数据集。在我们在Google从事GNN基础设施和开源软件的工作中，我们力求开发鲁棒、可调、可扩展且可泛化的改进基准。在本工作中，我们介绍GraphWorld，一种用于在任意大规模合成图群体上对任意可设想的GNN任务进行GNN模型基准测试的新方法和系统。GraphWorld允许用户高效生成包含数百万统计多样数据集的“世界”。它易用、可扩展且易于使用。GraphWorld可在单台机器上无需专用硬件运行，也可轻松扩展至任意集群或云框架运行。使用GraphWorld，用户可精细控制图生成器参数，并通过内置超参数调优对任意GNN模型进行基准测试。我们展示了来自GraphWorld实验的洞察，涉及数万GNN模型在数百万基准数据集上的性能特征。我们进一步表明，GraphWorld高效探索了标准基准未覆盖的基准数据集空间区域，揭示了历史上无法获得的模型间比较。使用GraphWorld，我们还能够详细研究图属性与任务性能指标之间的关系，这在使用经典真实世界基准集合时几乎不可能实现。