BenchTemp：一种用于评估时序图神经网络的通用基准
机器学习
2023-09-01 v1 人工智能
摘要
为处理特征或连接随时间演化的图，一系列时序图神经网络（TGNN）已被提出。尽管这些 TGNN 取得了成功，先前的 TGNN 评估在四个关键问题上暴露出若干局限：1）数据集不一致，2）评估流程不一致，3）缺乏工作负载多样性，4）缺乏高效比较。总体而言，缺乏一项将 TGNN 模型置于同一基础之上并全面比较的实证研究。为此，我们提出 BenchTemp，一种用于在各种工作负载上评估 TGNN 模型的通用基准。BenchTemp 提供了一组基准数据集，以便不同 TGNN 模型可以公平比较。此外，BenchTemp 设计了一个统一 TGNN 评估的标准流程。借助 BenchTemp，我们针对代表性 TGNN 模型在不同任务（如链接预测和节点分类）和设置（直推式和归纳式）下，就有效性和效率指标进行了广泛比较。我们已将 BenchTemp 公开于 https://github.com/qianghuangwhu/benchtemp。
引用
@article{arxiv.2308.16385,
title = {BenchTemp: A General Benchmark for Evaluating Temporal Graph Neural Networks},
author = {Qiang Huang and Jiawei Jiang and Xi Susie Rao and Ce Zhang and Zhichao Han and Zitao Zhang and Xin Wang and Yongjun He and Quanqing Xu and Yang Zhao and Chuang Hu and Shuo Shang and Bo Du},
journal= {arXiv preprint arXiv:2308.16385},
year = {2023}
}
备注
28 pages, 23 figures, 27 tables. Submitted to the Conference on Neural Information Processing Systems 2023 Track on Datasets and Benchmarks