居中寻得：排列自一致性改进大语言模型的列表式排序
计算与语言
2024-04-23 v2 机器学习
摘要
大语言模型（LLMs）在利用上下文时表现出位置偏置，尤其使列表式排序复杂化。为此，我们提出排列自一致性，一种针对黑盒LLM排序列表输出的自一致性形式。我们的核心思想是对提示中不同列表顺序进行边缘化，以产生具有更少位置偏置的与顺序无关的排序。首先，给定某输入提示，我们重复打乱提示中的列表并在保持指令相同的情况下将其传入LLM。接下来，我们通过计算距所有样本排序距离最近的中央排序来聚合所得排序样本，在此过程中边缘化掉提示顺序偏置。理论上，我们证明了方法的鲁棒性，显示在随机扰动存在时收敛于真实排序。实证上，在排序和段落重排的五个列表排序数据集上，我们的方法相较常规推断为GPT-3.5提升达7-18%，为LLaMA v2（70B）提升8-16%，超越先前段落重排的最优水平。我们的代码位于 https://github.com/castorini/perm-sc。
引用
@article{arxiv.2310.07712,
title = {Found in the Middle: Permutation Self-Consistency Improves Listwise Ranking in Large Language Models},
author = {Raphael Tang and Xinyu Zhang and Xueguang Ma and Jimmy Lin and Ferhan Ture},
journal= {arXiv preprint arXiv:2310.07712},
year = {2024}
}
备注
Accepted for publication at NAACL 2024. First two authors contributed equally; 10 pages, 6 figures