DTGB:动态文本属性图的综合基准
人工智能
2024-11-05 v3 机器学习
摘要
动态文本属性图 (DyTAG) 在各种现实场景中普遍存在,其中每个节点和边都与文本描述相关联,并且图结构和文本描述都随时间演变。尽管具有广泛的适用性,但针对 DyTAG 的基准数据集明显稀缺,这阻碍了许多研究领域的潜在进展。为了解决这一差距,我们引入了动态文本属性图基准 (DTGB),这是一个来自不同领域的大规模、时间演化图的集合,其节点和边通过动态变化的文本属性和类别得到丰富。为了便于使用 DTGB,我们基于四个现实用例设计了标准化的评估程序:未来链接预测、目标节点检索、边分类和文本关系生成。这些任务要求模型理解动态图结构和自然语言,突出了 DyTAG 带来的独特挑战。此外,我们在 DTGB 上进行了广泛的基准实验,评估了 7 种流行的动态图学习算法及其通过 LLM 嵌入适应文本属性的变体,以及 6 种强大的大型语言模型 (LLM)。我们的结果显示了现有模型在处理 DyTAG 方面的局限性。我们的分析也证明了 DTGB 在研究结构和文本动态结合方面的实用性。提出的 DTGB 促进了 DyTAG 及其广泛应用的研究。它为评估和推进模型处理动态图结构与自然语言之间的相互作用提供了一个全面的基准。数据集和源代码可在 https://github.com/zjs123/DTGB 获取。
引用
@article{arxiv.2406.12072,
title = {DTGB: A Comprehensive Benchmark for Dynamic Text-Attributed Graphs},
author = {Jiasheng Zhang and Jialin Chen and Menglin Yang and Aosong Feng and Shuang Liang and Jie Shao and Rex Ying},
journal= {arXiv preprint arXiv:2406.12072},
year = {2024}
}
备注
28 pages, 13 figures, camera-ready version for NeurIPS 2024 Datasets and Benchmarks Track