基于往返一致性的合成问答语料生成
计算与语言
2019-06-14 v1
摘要
我们提出一种新颖的合成问答语料生成方法，结合问题生成与答案抽取模型，并通过过滤结果以确保往返一致性。通过在所得语料上进行预训练，我们在 SQuAD2 和 NQ 上获得显著提升，并在后者上确立了新的最优（state-of-the-art）结果。我们的合成数据生成模型（用于问题生成与答案抽取）可通过在 SQuAD2 和 NQ 的抽取子集上微调公开可用的 BERT 模型来完全复现。我们还描述了一种更强大的变体，其对问题生成进行完整的序列到序列预训练，在 SQuAD2 上取得的精确匹配（exact match）和 F1 与人工表现差距分别小于 0.1% 和 0.4%。
引用
@article{arxiv.1906.05416,
title = {Synthetic QA Corpora Generation with Roundtrip Consistency},
author = {Chris Alberti and Daniel Andor and Emily Pitler and Jacob Devlin and Michael Collins},
journal= {arXiv preprint arXiv:1906.05416},
year = {2019}
}