缩小规模，提升能力：利用 Seq2seq 编码器 - 解码器模型进行高效零样本列表式重排序
信息检索
2023-12-27 v1
摘要
近期利用大语言模型 (LLM) 进行零样本列表式重排序的工作取得了最先进的结果。然而，这些方法并非没有缺点。所提出的方法依赖于具有数十亿参数和有限上下文大小的庞大 LLM。本文介绍了 LiT5-Distill 和 LiT5-Score，这是两种利用 T5 序列到序列编码器 - 解码器模型进行高效零样本列表式重排序的方法。我们的方法展示了与近期最先进的 LLM 重排序器相比具有竞争力的重排序效果，同时模型规模显著更小。通过 LiT5-Score，我们还探索了使用交叉注意力计算相关性分数以执行重排序，从而消除了对用于训练的外部段落相关性标签的依赖。我们提供了一系列从 2.2 亿参数到 30 亿参数的模型，均具有强大的重排序结果，挑战了有效零样本重排序必须依赖大规模模型的必要性，并为更高效的列表式重排序解决方案开辟了途径。我们在 https://github.com/castorini/LiT5 提供了代码和脚本来复现我们的结果。
引用
@article{arxiv.2312.16098,
title = {Scaling Down, LiTting Up: Efficient Zero-Shot Listwise Reranking with Seq2seq Encoder-Decoder Models},
author = {Manveer Singh Tamber and Ronak Pradeep and Jimmy Lin},
journal= {arXiv preprint arXiv:2312.16098},
year = {2023}
}