知识图上复杂查询回答的组合泛化性基准测试
计算与语言
2021-11-08 v2
摘要
复杂查询回答(CQA)是知识图上的重要推理任务。现有 CQA 学习模型已被证明能够从原子算子泛化到更复杂的公式，这可视为组合泛化性。本文提出 EFO-1-QA，一个包含 301 种不同查询类型的全新数据集，用于基准测试 CQA 模型的组合泛化性，其规模是现有数据集的 20 倍。此外，我们的工作首次提供了基准，通过 (a) 7 种算子系统选择和 (b) 9 种复杂查询形式，来评估和分析不同算子与范式的影响。具体而言，我们详细研究了两种常用算子即投影与交的组合泛化性，并在算子规范选择下论证了查询形式的影响。我们的代码与数据可提供基准测试 CQA 模型的有效流程。
引用
@article{arxiv.2109.08925,
title = {Benchmarking the Combinatorial Generalizability of Complex Query Answering on Knowledge Graphs},
author = {Zihao Wang and Hang Yin and Yangqiu Song},
journal= {arXiv preprint arXiv:2109.08925},
year = {2021}
}
备注
29 pages, 2 figures, and 23 tables, Code repository <\https://github.com/HKUST-KnowComp/EFO-1-QA-benchmark>. Accepted by NeurIPS 2021 Track on Dataset and Benchmark