为零样本检索中的交叉编码器辩护
信息检索
2022-12-13 v1 计算与语言
摘要
双编码器和交叉编码器广泛用于许多最先进的检索流水线。本工作中，我们研究了这两类架构在广泛参数量下于域内与域外场景中的泛化能力。我们发现交叉编码器的参数量与早期查询-文档交互在检索模型的泛化能力中扮演重要角色。我们的实验表明，增大模型尺寸在域内测试集上带来边际收益，但在微调时从未见过的新域中带来大得多的收益。此外，我们表明在若干任务中交叉编码器大幅优于同等规模的双编码器。在BEIR基准上，我们最大的交叉编码器以超过4个平均点超越最先进的双编码器。最后，我们表明在域外任务中，使用双编码器作为第一阶段检索器相比如BM25这类更简单的检索器并无增益。代码见 https://github.com/guilhermemr04/scaling-zero-shot-retrieval.git
引用
@article{arxiv.2212.06121,
title = {In Defense of Cross-Encoders for Zero-Shot Retrieval},
author = {Guilherme Rosa and Luiz Bonifacio and Vitor Jeronymo and Hugo Abonizio and Marzieh Fadaee and Roberto Lotufo and Rodrigo Nogueira},
journal= {arXiv preprint arXiv:2212.06121},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:2206.02873