通过排序模型提升 Q&A 文本检索：基准测试、微调与 RAG 中的重排序器部署

排序模型在提升文本检索系统整体准确率方面发挥着关键作用。这些多阶段系统通常利用稠密嵌入模型或稀疏词法索引，基于给定查询检索相关段落，然后通过排序模型细化候选段落的排序，以其与查询的相关性为准。本文对 various 公开可用的排序模型进行基准测试，并检验其对排序准确率的影响。我们专注于问答任务的文本检索，这是检索增强生成系统中的常见用例。我们的评估基准包括一些可为工业应用提供商业可行性的模型。我们引入一种最新排序模型 NV-RerankQA-Mistral-4B-v3，实现了约 14% 的准确率提升。我们还提供了关于使用不同规模、损失函数和自注意力机制微调排序模型的消融研究。最后，我们讨论了在实际工业应用中使用排序模型进行文本检索管道的挑战，特别是在模型规模、排序准确率以及系统要求（如索引和服务延迟/吞吐量）之间进行权衡。