预训练语言模型在简单知识图谱问答中的实证研究
计算与语言
2023-03-21 v1
摘要
BERT 等大规模预训练语言模型(PLM)近期取得巨大成功,成为自然语言处理(NLP)的里程碑。采用 PLM 作为下游任务主干已成为 NLP 社区的共识。在知识图谱问答(KGQA)的近期工作中,BERT 或其变体已成为其 KGQA 模型中不可或缺的部分。然而,对不同 PLM 在 KGQA 中的性能仍缺乏全面研究与比较。为此,我们总结了两种基于 PLM 且无需额外神经网络模块的基础 KGQA 框架,以从准确率和效率方面比较九种 PLM 的性能。此外,我们基于流行的 SimpleQuestions 基准构建了三个面向更大规模 KG 的基准,以考察 PLM 的可扩展性。我们仔细分析了所有基于 PLM 的 KGQA 基础框架在这些基准及另外两个流行数据集 WebQuestionSP 和 FreebaseQA 上的结果,发现 PLM 中的知识蒸馏技术与知识增强方法对 KGQA 颇具前景。此外,我们测试了在 NLP 社区备受关注的 ChatGPT,展示了其在零样本 KGQA 中令人印象深刻的能力与局限。我们已发布代码与基准以促进 PLM 在 KGQA 上的使用。
引用
@article{arxiv.2303.10368,
title = {An Empirical Study of Pre-trained Language Models in Simple Knowledge Graph Question Answering},
author = {Nan Hu and Yike Wu and Guilin Qi and Dehai Min and Jiaoyan Chen and Jeff Z. Pan and Zafar Ali},
journal= {arXiv preprint arXiv:2303.10368},
year = {2023}
}
备注
Accepted by World Wide Web Journal