用于密集段落检索的查询作为上下文预训练
信息检索
2023-10-17 v3 人工智能
摘要
近期，通过使用上下文监督预训练，开发了一些提升密集段落检索性能的方法。这些方法简单地将来自同一文档的两个段落视为相关，而没有考虑弱相关对的可能性。因此，本文提出查询作为上下文预训练，一种简单而有效的预训练技术来缓解该问题。查询作为上下文预训练假设从段落派生的查询更可能与该段落相关，并形成段落-查询对。然后将这些段落-查询对用于对比或生成式上下文监督预训练。预训练模型在大规模段落检索基准和域外零样本基准上进行了评估。实验结果表明，查询作为上下文预训练带来了显著的收益，同时加快了训练速度，证明了其有效性和效率。我们的代码将在 https://github.com/caskcsg/ir/tree/main/cotmae-qc 提供。
引用
@article{arxiv.2212.09598,
title = {Query-as-context Pre-training for Dense Passage Retrieval},
author = {Xing Wu and Guangyuan Ma and Wanhui Qian and Zijia Lin and Songlin Hu},
journal= {arXiv preprint arXiv:2212.09598},
year = {2023}
}
备注
EMNLP 2023 Main Conference