在大型知识图谱上进行面向任务的 GNN 训练以实现准确高效的建模
机器学习
2024-03-25 v2 人工智能
摘要
知识图谱(KG)是包含多种节点和边类型的异构图。异构图神经网络(HGNN)在 KG 上训练节点分类和链路预测等机器学习任务中很受欢迎。然而,HGNN 方法的复杂度过高,受 KG 的大小、密度以及节点和边类型数量的影响。AI 从业者手工构建与特定任务相关的 KG G 的子图。我们将此子图称为面向任务的子图(TOSG),它包含 G 中与任务相关的节点和边类型的子集。使用 TOSG 而非 G 进行任务训练,减轻了大型 KG 所需的过量计算。构建 TOSG 需要对 KG 的结构和任务目标有深刻的理解。因此,这既具有挑战性又耗时。本文提出了 KG-TOSA,这是一种自动化 TOSG 提取的方法,用于在大型 KG 上进行面向任务的 HGNN 训练。在 KG-TOSA 中,我们定义了一个通用图模式,用于捕获与特定任务相关的 KG 的局部和全局结构。我们探索了提取匹配我们图模式的子图的不同技术:即 两种使用有偏随机游走或影响分数在目标节点周围采样的技术,以及 一种利用 RDF 引擎内置索引的基于 SPARQL 的提取方法。因此,与采样技术相比,它实现了可忽略的预处理开销。我们开发了包含大型真实 KG 和各种节点分类与链路预测任务的基准。我们的实验表明,KG-TOSA 帮助 SOTA HGNN 方法将训练时间和内存使用量减少了高达 70%,同时提高了模型性能,例如准确率和推理时间。
引用
@article{arxiv.2403.05752,
title = {Task-Oriented GNNs Training on Large Knowledge Graphs for Accurate and Efficient Modeling},
author = {Hussein Abdallah and Waleed Afandi and Panos Kalnis and Essam Mansour},
journal= {arXiv preprint arXiv:2403.05752},
year = {2024}
}
备注
12 pages,9 Figures, 3 Tables, ICDE:2024