FIRST 的早期复现与单标记解码的改进以实现快速列表式重排序
信息检索
2024-11-13 v2 计算与语言
摘要
近期研究表明，大语言模型（LLMs）作为列表式重排序器表现出色，但其高计算需求仍是广泛应用的障碍。此外，传统的语言建模（LM）目标并不理想地适用于重排序任务。FIRST 是一种新颖的方法，通过整合学习排序目标并仅利用第一个生成标记的 logits，从而显著降低了与传统 LLM 重排序器相比的推理延迟。在本研究中，我们将 FIRST 的评估扩展到 TREC Deep Learning 数据集（DL19-22），验证了其在不同领域上的鲁棒性。我们研究了不同第一阶段检索器对 FIRST 重排序器的影响，观察到收益递减以及与传统 LLM 重排序器一致的模式。通过将 FIRST 目标应用于更广泛的基础模型，我们实现了超越原始实现的有效性。我们的实验证实，使用单标记 logits 的快速重排序不会损害跨域重排序质量。为了更好地量化原始研究中的计算节省，我们测量并比较了延迟，在各种模型和基准测试上发现了 21%–42% 的提升。此外，虽然 LM 训练隐式地改进了零样本单标记重排序，但我们的实验也提出了 LM 预训练是否可能阻碍后续使用 FIRST 目标进行微调的问题。这些发现为未来应用中更高效、更有效的列表式重排序铺平了道路。
引用
@article{arxiv.2411.05508,
title = {An Early FIRST Reproduction and Improvements to Single-Token Decoding for Fast Listwise Reranking},
author = {Zijian Chen and Ronak Pradeep and Jimmy Lin},
journal= {arXiv preprint arXiv:2411.05508},
year = {2024}
}