学习稀疏表示中的古怪权重与逐分评分查询求值的回归
信息检索
2021-10-29 v2
摘要
基于Transformer生成的学习稀疏表示的检索模型的最新进展，使我们再次考虑针对top-k检索问题的逐分评分(score-at-a-time)查询求值技术。先前比较文档优先(document-at-a-time)与逐分评分方法的研究一致发现，前者具有更低的平均查询延迟，尽管后者的查询延迟更可预测。在我们对四种利用词袋表示学习的不同检索模型的实验中，我们发现Transformer生成的“古怪权重(wacky weights)”似乎大大减少了标准文档优先技术核心所在的跳过与早退优化机会。因此，逐分评分方法在查询求值延迟方面似乎比先前研究更具竞争力。我们发现，若能容忍高达百分之三的效果损失，逐分评分方法可在大幅降低尾延迟的同时，带来平均查询延迟的显著收益。
引用
@article{arxiv.2110.11540,
title = {Wacky Weights in Learned Sparse Representations and the Revenge of Score-at-a-Time Query Evaluation},
author = {Joel Mackenzie and Andrew Trotman and Jimmy Lin},
journal= {arXiv preprint arXiv:2110.11540},
year = {2021}
}