SPBERT：一种基于 SPARQL 查询高效预训练 BERT 的知识图谱问答方法
计算与语言
2021-07-02 v2
摘要
在本文中，我们提出 SPBERT，一种在大规模 SPARQL 查询日志上预训练的基于 transformer 的语言模型。通过结合掩码语言建模目标和词结构目标，SPBERT 能够学习自然语言和 SPARQL 查询语言中的通用表示。我们研究了如何将 SPBERT 和编码器-解码器架构应用于基于知识的问答语料库。我们在另外两个任务上进行了详尽实验，包括 SPARQL 查询构建和答案口语化生成。实验结果表明，SPBERT 可以取得有前景的结果，在多个此类任务上达到最先进的 BLEU 分数。
引用
@article{arxiv.2106.09997,
title = {SPBERT: An Efficient Pre-training BERT on SPARQL Queries for Question Answering over Knowledge Graphs},
author = {Hieu Tran and Long Phan and James Anibal and Binh T. Nguyen and Truong-Son Nguyen},
journal= {arXiv preprint arXiv:2106.09997},
year = {2021}
}