常识知识 + BERT 用于二级阅读理解能力测试
计算与语言
2019-09-10 v1
摘要
常识知识在我们阅读时起着重要作用。BERT 在 SQuAD 数据集上的表现显示其准确率可优于人类用户。然而，这并不意味着计算机能在阅读理解上超越人类。CommonsenseQA 是一个基于常识知识构建的大规模数据集。BERT 在其上仅取得了 55.9% 的准确率。该结果表明计算机无法像人类一样运用常识知识来回答问题。理解能力测试（Comprehension Ability Test, CAT）将阅读理解能力划分为四个等级。我们可以逐级达到类人的理解能力。BERT 在不要求常识的一级中表现良好。在本研究中，我们提出一个系统，旨在使计算机能像人类一样借助常识知识阅读文章并回答相关问题，以通过 CAT 二级。该系统由三部分组成。首先，我们构建了一个常识知识图谱；然后依据该图谱自动构建常识知识问题数据集。最后，将 BERT 与常识知识结合，以实现 CAT 二级的阅读理解能力。实验表明，只要所需常识包含在知识库中，该系统即可通过 CAT。
引用
@article{arxiv.1909.03415,
title = {Commonsense Knowledge + BERT for Level 2 Reading Comprehension Ability Test},
author = {Yidan Hu and Gongqi Lin and Yuan Miao and Chunyan Miao},
journal= {arXiv preprint arXiv:1909.03415},
year = {2019}
}