基于语言模型提示的小样本多跳问答重排序
计算与语言
2023-07-04 v3 信息检索
摘要
我们研究面向开放域问题的多跳问答的小样本重排序。为缓解检索器训练所需大量标注问题-文档对的需求，我们提出 PromptRank，其依靠大语言模型提示进行多跳路径重排序。PromptRank 首先构建包含候选文档路径的基于指令的提示，然后根据语言模型给出的路径提示条件下问题的条件似然，计算给定问题与该路径之间的相关性分数。与使用数千样本训练的先进方法相比，PromptRank 在 HotpotQA 上仅用 128 个训练样本即取得强劲的检索性能——PromptRank 的 recall@10 为 73.6，而 PathRetriever 为 77.8，多跳稠密检索为 77.5。代码发布于 https://github.com/mukhal/PromptRank。
引用
@article{arxiv.2205.12650,
title = {Few-shot Reranking for Multi-hop QA via Language Model Prompting},
author = {Muhammad Khalifa and Lajanugen Logeswaran and Moontae Lee and Honglak Lee and Lu Wang},
journal= {arXiv preprint arXiv:2205.12650},
year = {2023}
}
备注
ACL 2023 - Camera Ready