SMORE：大规模知识图谱中的知识图谱补全与多跳推理
机器学习
2021-11-03 v2 人工智能
数据库
分布式、并行与集群计算
摘要
知识图谱 (KGs) 以头—关系—尾三元组的形式捕获知识，是许多 AI 系统中的关键组件。KGs 上有两个重要的推理任务：(1) 单跳知识图谱补全，涉及预测 KG 中的单个链接；(2) 多跳推理，其目标是预测哪些 KG 实体满足给定的逻辑查询。基于嵌入的方法通过首先为每个实体和关系计算嵌入，然后使用它们形成预测来解决这两个任务。然而，现有的可扩展 KG 嵌入框架仅支持单跳知识图谱补全，无法应用于更具挑战性的多跳推理任务。在此我们提出可扩展多跳推理 (SMORE)，这是第一个用于 KGs 中单跳和多跳推理的通用框架。使用单台机器，SMORE 可以在 Freebase KG（8600 万实体，3.38 亿边）中执行多跳推理，其规模比先前考虑的 KGs 大 1500 倍。SMORE 运行时性能的关键在于一种新颖的双向拒绝采样，实现了在线训练数据生成复杂度的平方根级降低。此外，SMORE 利用异步调度，重叠基于 CPU 的数据采样、基于 GPU 的嵌入计算和频繁的 CPU—GPU IO。SMORE 在先前多跳 KG 框架上的吞吐量（即训练速度）提高了 2.2 倍，且 GPU 内存需求极小（在 8600 万节点 Freebase 上训练 400 维嵌入仅需 2GB），并随 GPU 数量实现近线性加速。此外，在更简单的单跳知识图谱补全任务上，SMORE 在单 GPU 和多 GPU 设置下均取得了与最先进框架相当甚至更好的运行时性能。
引用
@article{arxiv.2110.14890,
title = {SMORE: Knowledge Graph Completion and Multi-hop Reasoning in Massive Knowledge Graphs},
author = {Hongyu Ren and Hanjun Dai and Bo Dai and Xinyun Chen and Denny Zhou and Jure Leskovec and Dale Schuurmans},
journal= {arXiv preprint arXiv:2110.14890},
year = {2021}
}