面向多跳检索器的弱监督预训练
计算与语言
2021-06-21 v1
摘要
在多跳问答中，回答复杂问题需要迭代式文档检索以寻找问题中缺失的实体。该过程的主要步骤包括子问题检测、针对子问题的文档检索，以及为最终文档检索生成新查询。然而，构建包含复杂问题及其子问题与对应文档的数据集需要昂贵的人工标注。为解决该问题，我们提出了一种无需人工参与的弱监督多跳检索器预训练新方法。我们的方法包括：1）用于生成复杂问题向量表示的预训练任务；2）一种可扩展的数据生成方法，可生成问题与子问题的嵌套结构作为预训练的弱监督信号；3）基于稠密编码器的预训练模型结构。我们通过实验将预训练后的检索器与若干最先进（SOTA）模型在端到端多跳问答及文档检索上的性能进行比较。实验结果表明，我们的预训练检索器在有限数据与计算资源下均有效且具备鲁棒性。
引用
@article{arxiv.2106.09983,
title = {Weakly Supervised Pre-Training for Multi-Hop Retriever},
author = {Yeon Seonwoo and Sang-Woo Lee and Ji-Hoon Kim and Jung-Woo Ha and Alice Oh},
journal= {arXiv preprint arXiv:2106.09983},
year = {2021}
}
备注
ACL-Findings 2021