多阶段检索系统中的动态权衡预测

现代多阶段检索系统由一个候选生成阶段及随后的一个或多个重排序阶段构成。在此架构中，最终排序列表的质量可能对初始候选池的质量不敏感，尤其是在早期精度方面。这为在不显著牺牲效果的前提下提升检索效率提供了若干机会。本文探索了一种在候选生成阶段动态预测两个不同参数的新方法，这些参数能直接影响整个系统的整体效率与效果。先前探索此权衡的工作聚焦于适用于所有查询的全局参数设置，尽管最优设置因查询而异。与之相反，我们提出了一种技术，仅使用静态的检索前特征，在逐查询的基础上，于效果包络内做出最大化效率的参数预测。效果与效率之间针对特定查询的权衡点，通过一个分类器级联来决定，该级联在一系列可能的参数截断值范围内权衡可能的效率增益与效果损失，从而做出预测。我们新方法的一个有趣转折在于，无需显式的相关性判断即可训练分类器。我们通过将该框架应用于两个不同的检索参数——在常见的 top-k 查询检索算法中选择 k，以及为逐分近似查询评估算法设定质量阈值 $\rho$——来展示其泛化能力。实验结果表明，根据所选的动态参数，可以获得可观的效率增益。此外，我们的框架提供了一个通用工具，可用于在选择和调优算法进行机器学习预测之前，估算可能的效果-效率权衡。