利用前向索引与轻量编码器的高效神经排序
信息检索
2023-11-03 v1
摘要
基于双编码器的稠密检索模型已成为信息检索（IR）的标准。它们采用大型基于 Transformer 的语言模型，其在资源与延迟上效率低下众所熟知。我们提出 Fast-Forward 索引——一种向量前向索引，利用双编码器模型的语义匹配能力进行高效且有效的重排序。我们的框架支持在极高检索深度下重排序，并通过分数插值结合词法匹配与语义匹配之长。此外，为缓解双编码器局限，我们应对两主要挑战：其一，我们通过预计算表示、彻底避免不必要计算或降低编码器复杂度来提升计算效率，从而显著改善排序效率与延迟。其二，我们优化索引的内存占用与维护成本；提出两种互补技术缩减索引规模，并表明通过动态丢弃无关文档词元可大幅改善索引维护效率。我们经评估展示了 Fast-Forward 索引的有效与高效——本方法延迟低，且在无需 GPU 等硬件加速下取得具竞争力的结果。
引用
@article{arxiv.2311.01263,
title = {Efficient Neural Ranking using Forward Indexes and Lightweight Encoders},
author = {Jurek Leonhardt and Henrik Müller and Koustav Rudra and Megha Khosla and Abhijit Anand and Avishek Anand},
journal= {arXiv preprint arXiv:2311.01263},
year = {2023}
}
备注
Accepted at ACM TOIS. arXiv admin note: text overlap with arXiv:2110.06051