探索对 BERT 添加神经网络以增强 SQUAD 2.0 上的问答能力

Suhas Gupta

探索对 BERT 添加神经网络以增强 SQUAD 2.0 上的问答能力

计算与语言 2020-03-10 v3 人工智能机器学习

作者: Suhas Gupta

摘要

增强机器回答问题的能力近年来一直是 NLP 研究的热点。诸如来自语言模型的嵌入(ELMo)[1]和基于 Transformer 的双向编码器表示(BERT)[2]等语言模型在构建可针对大量下游语言任务进行优化的通用语言模型方面非常成功。在这项工作中,我们专注于用不同的输出神经网络架构增强预训练的 BERT 语言模型,并比较它们在斯坦福问答数据集 2.0(SQUAD 2.0)[3]所提出的问答任务上的性能。此外,我们还对预训练的 BERT 模型参数进行了微调,以证明其在适应专门语言任务方面的有效性。我们最好的输出网络是上下文化 CNN,其在不可回答和可回答的问答任务上的 F1 分数分别为 75.32 和 64.85。

关键词

问答 BERT 神经网络增强 SQUAD 2.0 上下文化 CNN 微调

引用

@article{arxiv.1908.01767,
  title  = {Exploring Neural Net Augmentation to BERT for Question Answering on SQUAD 2.0},
  author = {Suhas Gupta},
  journal= {arXiv preprint arXiv:1908.01767},
  year   = {2020}
}

备注

Code bug found

探索对 BERT 添加神经网络以增强 SQUAD 2.0 上的问答能力

摘要

关键词

引用

备注

相关论文