生成式预训练语言模型能否作为闭卷问答的知识库？
计算与语言
2021-06-04 v1
摘要
近期工作探究了使用预训练语言模型（PLMs）作为知识库来回答开放问题的有趣问题。然而，现有工作受限于使用具有高训练-测试重叠的小基准。我们利用 SQuAD 构建了一个闭卷问答新数据集，并研究了 BART 的性能。实验表明，BART 难以高精度记住训练事实，且即便保留了相关知识，回答闭卷问题也很困难。我们发现了一些有前景的方向，包括解耦知识记忆过程与问答微调过程，以及在问答时迫使模型回忆相关知识。
引用
@article{arxiv.2106.01561,
title = {Can Generative Pre-trained Language Models Serve as Knowledge Bases for Closed-book QA?},
author = {Cunxiang Wang and Pai Liu and Yue Zhang},
journal= {arXiv preprint arXiv:2106.01561},
year = {2021}
}
备注
Accepted By ACL-IJCNLP 2021