Aggretriever：一种聚合文本表示以实现鲁棒稠密段落检索的简单方法
信息检索
2023-05-26 v2
摘要
预训练语言模型在许多知识密集型自然语言处理任务中取得了成功。然而，最近的研究表明，诸如 BERT 之类的模型在结构上并未“准备好”将文本信息聚合为一个 [CLS] 向量以用于稠密段落检索（DPR）。这种“准备不足”源于语言模型预训练与 DPR 微调之间的差距。以往的解决方案需要计算代价高昂的技术，如难负样本挖掘、交叉编码器蒸馏以及进一步的预训练，以学习鲁棒的 DPR 模型。在本工作中，我们转而提出通过将从上下文感知的词元嵌入聚合为一个稠密向量来充分利用预训练语言模型中的知识用于 DPR，我们称之为 agg*。通过将来自 [CLS] 词元的向量与 agg* 拼接，我们的 Aggretriever 模型在域内和零样本评测上都显著提升了稠密检索模型的效果，且未引入大量训练开销。代码见 https://github.com/castorini/dhr
引用
@article{arxiv.2208.00511,
title = {Aggretriever: A Simple Approach to Aggregate Textual Representations for Robust Dense Passage Retrieval},
author = {Sheng-Chieh Lin and Minghan Li and Jimmy Lin},
journal= {arXiv preprint arXiv:2208.00511},
year = {2023}
}
备注
Published in Transactions of the Association for Computational Linguistics