PEARL：提示大语言模型在长文档上规划并执行动作
计算与语言
2023-05-25 v1
摘要
思维链提示等策略通过将输入样例分解为中间步骤，提升了大语言模型（LLM）在复杂推理任务上的表现。然而，如何将这些方法应用于长输入文档上的推理仍不明确，其中分解与每个中间步骤的输出都难以获取。本文中，我们提出 PEARL，一种改进长文档推理的提示框架，包含三个阶段：动作挖掘、计划制定与计划执行。更具体地，给定关于长文档的问题，PEARL 将问题分解为一系列动作（如 SUMMARIZE、FIND_EVENT、FIND_RELATION），随后在文档上执行以获得答案。PEARL 的每个阶段均通过对 LLM（本工作中为 GPT-4）的零样本或少样本提示实现，仅需极少人工输入。我们在 QuALITY 数据集的一个具有挑战性的子集上评估 PEARL，该子集包含需要对长叙事文本进行复杂推理的问题。PEARL 在该数据集上优于零样本与思维链提示，且消融实验表明 PEARL 的每个阶段对其性能都至关重要。总体而言，PEARL 是利用 LLM 对长文档进行推理的初步尝试。
引用
@article{arxiv.2305.14564,
title = {PEARL: Prompting Large Language Models to Plan and Execute Actions Over Long Documents},
author = {Simeng Sun and Yang Liu and Shuohang Wang and Chenguang Zhu and Mohit Iyyer},
journal= {arXiv preprint arXiv:2305.14564},
year = {2023}
}