ALLIES：以集束搜索提示大语言模型
计算与语言
2023-10-20 v3
摘要
随着大语言模型(LLMs)的发展，LLM应用的研究领域变得越来越流行，并且通过堆叠LLM API调用来构建流水线以完成复杂任务的想法得以实现。然而，此类方法面临两个局限：信息覆盖狭窄和容错性低。在这项工作中，我们提出一种称为ALLIES的新方法。给定输入查询，ALLIES利用LLM迭代生成与原始查询相关的新查询，实现迭代推理过程。通过迭代细化和扩展原始查询的范围，ALLIES捕获并利用可能无法通过检索直接获得的隐藏知识。我们以零样本开放域问答(ODQA)作为应用场景，并在广泛使用的数据集（如NQ、WebQ和TriviaQA）上评估ALLIES。实验结果表明，ALLIES显著优于其他零样本基线，表明其在应对这些挑战方面的有效性。我们的代码可在 https://github.com/microsoft/SimXNS/tree/main/ALLIES 获取。
引用
@article{arxiv.2305.14766,
title = {Allies: Prompting Large Language Model with Beam Search},
author = {Hao Sun and Xiao Liu and Yeyun Gong and Yan Zhang and Daxin Jiang and Linjun Yang and Nan Duan},
journal= {arXiv preprint arXiv:2305.14766},
year = {2023}
}
备注
Accepted by EMNLP2023