I^3 Retriever：在预训练语言模型中引入隐式交互用于段落检索
信息检索
2024-03-21 v3
摘要
段落检索是许多信息系统（如网页搜索与问答）中的基础任务，其中效率与效果均为关键考量。近年来，基于预训练语言模型(PLM)的神经检索器（如双编码器）已取得巨大成功。然而，研究发现双编码器的性能常因忽略查询与候选段落间的交互信息而受限。因此，人们提出了多种交互范式以改进原始双编码器的性能。特别地，近期最先进的方法常在模型推理过程中引入后期交互。然而，此类基于后期交互的方法通常对大规模语料带来巨大的计算与存储开销。尽管有效，效率与空间占用问题仍是限制基于交互的神经检索模型应用的重要因素。为解决该问题，我们将隐式交互引入双编码器，并提出 I^3 retriever。具体而言，我们的隐式交互范式利用生成的伪查询来模拟查询—段落交互，并以端到端方式与查询和段落编码器联合优化。它可被完全预计算并缓存，其推理过程仅涉及查询向量与段落向量的简单点积运算，使其与原始双编码器一样高效。我们在 MSMARCO 与 TREC2019 深度学习数据集上进行了全面实验，证明了 I^3 retriever 在效果与效率上的优越性。此外，所提隐式交互兼容针对段落检索的特殊预训练与知识蒸馏，从而带来了新的最先进性能。
引用
@article{arxiv.2306.02371,
title = {I^3 Retriever: Incorporating Implicit Interaction in Pre-trained Language Models for Passage Retrieval},
author = {Qian Dong and Yiding Liu and Qingyao Ai and Haitao Li and Shuaiqiang Wang and Yiqun Liu and Dawei Yin and Shaoping Ma},
journal= {arXiv preprint arXiv:2306.02371},
year = {2024}
}
备注
10 pages