超越“是”与“否”：通过细粒度相关性标签打分改进零样本 LLM 排序器
信息检索
2024-04-03 v3
摘要
由近期大语言模型（LLM）驱动的零样本文本排序器仅通过提示即可取得卓越的排序性能。现有面向逐点 LLM 排序器的提示大多要求模型从“是”与“否”等二元相关性标签中择一。然而，缺乏中间相关性标签选项可能导致 LLM 对部分相关于查询的文档给出含噪或有偏的答案。我们提出将细粒度相关性标签融入 LLM 排序器的提示中，使其更好地区分具有不同查询相关程度的文档，从而得到更准确的排序。我们研究了两种提示模板变体，并搭配不同数量的相关性等级。在8个 BEIR 数据集上的实验表明，添加细粒度相关性标签显著提升了 LLM 排序器的性能。
引用
@article{arxiv.2310.14122,
title = {Beyond Yes and No: Improving Zero-Shot LLM Rankers via Scoring Fine-Grained Relevance Labels},
author = {Honglei Zhuang and Zhen Qin and Kai Hui and Junru Wu and Le Yan and Xuanhui Wang and Michael Bendersky},
journal= {arXiv preprint arXiv:2310.14122},
year = {2024}
}
备注
NAACL 2024; 13 pages