APEER：自动提示工程提升大语言模型重排序
人工智能
2025-05-21 v2
摘要
大语言模型（LLMs）显著提升了信息检索（IR）中的多个模块，如重排序。尽管性能卓越，当前的零样本相关性排序仍严重依赖人类提示工程。现有自动提示工程算法主要聚焦于语言建模和分类任务，在 IR 领域，特别是重排序领域，仍未得到充分探索。直接将现有提示工程算法应用于相关性排序面临挑战，因为输入中集成了查询与长篇段落对，排序复杂度超出分类任务。为减少人力 effort 并发挥提示优化在重排序中的潜力，我们引入一种名为 APEER 的新型自动提示工程算法。APEER 通过反馈和偏好优化迭代生成细化提示。使用四个 LLM 和十个数据集进行大量实验，表明 APEER 在现有最先进（SOTA）手动提示之上显著提升性能。此外，我们发现 APEER 生成的提示在不同任务和 LLM 之间 exhibits better transferability。
引用
@article{arxiv.2406.14449,
title = {APEER: Automatic Prompt Engineering Enhances Large Language Model Reranking},
author = {Can Jin and Hongwu Peng and Shiyu Zhao and Zhenting Wang and Wujiang Xu and Ligong Han and Jiahui Zhao and Kai Zhong and Sanguthevar Rajasekaran and Dimitris N. Metaxas},
journal= {arXiv preprint arXiv:2406.14449},
year = {2025}
}