通过学提问来学回答：兼取 GPT-2 与 BERT 之长
计算与语言
2019-11-07 v1 人工智能
机器学习
摘要
自动问题生成旨在从上下文中生成问题，其对应答案为所给段落的子跨度。然而，大多数方法主要依赖启发式规则来生成问题，近来也有神经网络方法被提出。在这项工作中，我们提出了一种自注意力 Transformer 网络架构的变体模型来生成有意义且多样的问题。为此，我们提出了一个易于使用的模型，将由 Transformer 解码器 GPT-2 模型与 Transformer 编码器 BERT 结合，用于问题回答的下游任务。该模型以端到端方式训练，其中语言模型被训练为产生一种问题-答案感知的输入表示，从而有助于生成以答案为焦点的问题。我们在 SQuAD 1.1 数据集上从文本进行神经问题生成的结果表明，我们的方法能够生成语义正确且多样的问题。此外，我们评估了所提方法在问题回答下游任务上的性能。分析显示，我们提出的生成与回答协作框架相对改善了两项任务，并在半监督设定下尤其强大。结果进一步表明了一个鲁棒且相对精简的流程，有助于在小数据场景下的问题生成。
引用
@article{arxiv.1911.02365,
title = {Learning to Answer by Learning to Ask: Getting the Best of GPT-2 and BERT Worlds},
author = {Tassilo Klein and Moin Nabi},
journal= {arXiv preprint arXiv:1911.02365},
year = {2019}
}