面向开放域问答中段落检索的超链接诱导预训练
计算与语言
2022-04-13 v2 信息检索
摘要
为缓解训练问答系统的数据稀缺问题,近期工作提出了针对稠密段落检索(DPR)的额外中间预训练。然而,所提供上游信号与下游问题-段落相关性之间仍存在较大差异,导致改进有限。为弥合此差距,我们提出超链接诱导预训练(HLP),一种利用 Web 文档内基于超链接的拓扑所诱导的文本相关性来预训练稠密检索器的方法。我们证明双链接与共提及的超链接结构可为大规模预训练提供有效相关性信号,从而更好地促进下游段落检索。我们在零样本、少样本、多跳及域外等多种开放域 QA 数据集场景下考察了方法的有效性。实验表明,在零样本场景下,我们的 HLP 在 top-20 检索准确率上比 BM25 高出至多 7 个点,并比其他预训练方法高出逾 10 个点。此外,HLP 在其他场景下也显著优于其他预训练方法。
引用
@article{arxiv.2203.06942,
title = {Hyperlink-induced Pre-training for Passage Retrieval in Open-domain Question Answering},
author = {Jiawei Zhou and Xiaoguang Li and Lifeng Shang and Lan Luo and Ke Zhan and Enrui Hu and Xinyu Zhang and Hao Jiang and Zhao Cao and Fan Yu and Xin Jiang and Qun Liu and Lei Chen},
journal= {arXiv preprint arXiv:2203.06942},
year = {2022}
}
备注
Accepted by ACL 2022 main conference; The dataset and code are available at https://github.com/jzhoubu/HLP