基于交叉注意力监督数据增强的神经网络问答检索
计算与语言
2020-09-30 v1
摘要
将问题与答案独立投影到共享嵌入空间的神经模型允许从大规模语料中进行高效的连续空间检索。独立计算问题与答案的嵌入导致将问题与答案匹配的相关信息发生晚期融合。尽管对高效检索至关重要，晚期融合的性能低于利用早期融合的模型（例如基于 BERT 并在问题-答案对间进行交叉注意力的分类器）。我们提出一种监督数据挖掘方法，利用准确的早期融合模型来改进高效晚期融合检索模型的训练。我们首先训练一个在问题与答案间具有交叉注意力的准确分类模型。随后使用该准确的交叉注意力模型标注额外段落，以为神经检索模型生成加权训练样本。带有额外数据的所得检索模型在 Precision at （P@N）与平均倒数排名（MRR）上显著优于直接用黄金标注训练的检索模型。
引用
@article{arxiv.2009.13815,
title = {Neural Retrieval for Question Answering with Cross-Attention Supervised Data Augmentation},
author = {Yinfei Yang and Ning Jin and Kuo Lin and Mandy Guo and Daniel Cer},
journal= {arXiv preprint arXiv:2009.13815},
year = {2020}
}