GOOD: 一个图分布外基准
机器学习
2022-09-28 v2 人工智能
摘要
分布外(OOD)学习处理训练数据与测试数据遵循不同分布的场景。尽管通用 OOD 问题在机器学习中已被深入研究,图 OOD 仍只是一个新兴的研究领域。目前,缺乏专门面向图 OOD 方法评估的系统性基准。在本工作中,我们旨在开发一个称为 GOOD 的、专门面向图的 OOD 基准。我们明确区分协变量偏移与概念偏移,并设计能准确反映不同偏移的数据划分。我们考虑图预测与节点预测两类任务,因为设计偏移时二者存在关键差异。总体而言,GOOD 包含 11 个数据集与 17 个领域选择。结合协变量、概念与无偏移,我们共获得 51 种不同划分。我们提供了 10 种常用基线方法在 10 次随机运行下的性能结果,总计产生 510 种数据集-模型组合。我们的结果显示出分布内与 OOD 设置之间的显著性能差距。我们的结果也揭示了不同方法在协变量与概念偏移间的不同性能趋势。我们的 GOOD 基准是一个持续成长的项目,预期随领域发展在资源数量与多样性上不断扩展。GOOD 基准可通过 https://github.com/divelab/GOOD/ 访问。
引用
@article{arxiv.2206.08452,
title = {GOOD: A Graph Out-of-Distribution Benchmark},
author = {Shurui Gui and Xiner Li and Limei Wang and Shuiwang Ji},
journal= {arXiv preprint arXiv:2206.08452},
year = {2022}
}