用于知识图上简单问答的预训练 Transformer
计算与语言
2020-02-03 v1 人工智能
机器学习
摘要
知识图上简单问答是问答中一个被充分研究的问题。该任务的先前方法建立在基于循环与卷积神经网络的架构之上，并使用预训练词嵌入。最近研究表明，微调预训练 transformer 网络（如 BERT）可在多种自然语言处理任务上超越先前方法。本工作中，我们考察 BERT 在 SimpleQuestions 上的表现，并给出在数据稀疏情形下 BERT 与基于 BiLSTM 模型的评估。
引用
@article{arxiv.2001.11985,
title = {Pretrained Transformers for Simple Question Answering over Knowledge Graphs},
author = {D. Lukovnikov and A. Fischer and J. Lehmann},
journal= {arXiv preprint arXiv:2001.11985},
year = {2020}
}