利用上下文后期交互提升神经重排序模型的分布外泛化能力
信息检索
2023-02-14 v1 计算与语言
摘要
信息检索近期进展发现，将查询与文档表示嵌入为多向量可在分布外数据集上得到鲁棒的双编码器检索器。本文探讨后期交互——多向量的最简形式——是否也有助于仅使用 [CLS] 向量计算相似度分数的神经重排序模型。尽管直观上，重排序模型在前几层的注意力机制已聚合词级信息，我们发现添加后期交互仍在分布外数据集上平均带来额外 5% 提升，且时延增加极小、域内效果无退化。通过大量实验与分析，我们表明该发现对不同模型规模和性质各异的首阶段检索器均一致，且对较长查询提升更显著。
引用
@article{arxiv.2302.06589,
title = {Improving Out-of-Distribution Generalization of Neural Rerankers with Contextualized Late Interaction},
author = {Xinyu Zhang and Minghan Li and Jimmy Lin},
journal= {arXiv preprint arXiv:2302.06589},
year = {2023}
}