CITADEL：基于动态词法路由的条件化令牌交互高效多向量检索
信息检索
2022-11-21 v1 计算与语言
摘要
多向量检索方法结合了稀疏（如BM25）与稠密（如DPR）检索器的优点，并在多种检索任务上取得了最先进的性能。然而，与单向量检索器相比，这些方法在速度上慢了数个数量级，且需要多得多的空间来存储其索引。在本文中，我们从令牌路由的视角统一了不同的多向量检索模型，并提出了通过动态词法路由的条件化令牌交互，即CITADEL，用于高效且有效的多向量检索。CITADEL学习将不同的令牌向量路由到预测的词法“键”，使得一个查询令牌向量仅与路由到同一键的文档令牌向量进行交互。该设计在保持高精度的同时显著降低了计算成本。值得注意的是，CITADEL在域内（MS MARCO）和域外（BEIR）评测上取得了与先前最先进方法ColBERT-v2相同或略好的性能，同时快近40倍。代码和数据可在 https://github.com/facebookresearch/dpr-scale 获取。
引用
@article{arxiv.2211.10411,
title = {CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for Efficient and Effective Multi-Vector Retrieval},
author = {Minghan Li and Sheng-Chieh Lin and Barlas Oguz and Asish Ghoshal and Jimmy Lin and Yashar Mehdad and Wen-tau Yih and Xilun Chen},
journal= {arXiv preprint arXiv:2211.10411},
year = {2022}
}