指令蒸馏使大语言模型成为高效零样本排序器
信息检索
2023-11-06 v1 计算与语言
摘要
近期研究展示了大语言模型（LLMs）作为零样本相关性排序器的巨大潜力。典型方法涉及对文档对或文档列表进行比较。尽管有效，这些列表式和成对式方法效率不高，且严重依赖复杂的提示工程。为解决此问题，我们引入一种新颖的指令蒸馏方法。其核心思想是将开源 LLMs 的成对排序能力蒸馏到一个更简单但更高效的逐点排序中。具体而言，给定同一 LLM，我们首先使用带复杂指令的有效成对方法进行文档排序，然后将教师预测蒸馏到带更简单指令的逐点方法中。在 BEIR、TREC 和 ReDial 数据集上的评估结果证明，指令蒸馏可将效率提升 10 至 100 倍，并同时增强 LLMs 的排序性能。此外，我们的方法超越了 monoT5 等现有监督方法的性能，并与最先进的零样本方法相当。复现我们结果的代码可在 www.github.com/sunnweiwei/RankGPT 获取。
引用
@article{arxiv.2311.01555,
title = {Instruction Distillation Makes Large Language Models Efficient Zero-shot Rankers},
author = {Weiwei Sun and Zheng Chen and Xinyu Ma and Lingyong Yan and Shuaiqiang Wang and Pengjie Ren and Zhumin Chen and Dawei Yin and Zhaochun Ren},
journal= {arXiv preprint arXiv:2311.01555},
year = {2023}
}