注意力引导的生成模型用于抽取式问答

我们提出一种将Transformer模型应用于抽取式问答（QA）任务的新方法。最近，预训练的生成式序列到序列（seq2seq）模型在问答中取得了巨大成功。这些模型成功的关键在于交叉注意力等内部注意力机制。我们提出一种简单策略，通过利用解码器交叉注意力模式从生成模型中获取抽取式答案片段。将交叉注意力视为架构先验，我们应用联合训练以进一步提升QA性能。实证结果表明，在NaturalQuestions和TriviaQA等开放域问答数据集上，我们的方法在生成式和抽取式推理上都接近最先进性能，同时使用的参数少得多。此外，该策略使我们能够进行无幻觉推理，并显著提升了模型对相关段落重排序的能力。