FSM：基于有限状态机的零样本提示方法用于多跳问答
计算与语言
2024-07-04 v1
摘要
大型语言模型（LLM）通过链律思考（COT）提示在简单自然语言推理任务上展现出惊人的能力。然而，由于包括幻觉、错误传播和有限上下文长度等多个挑战，它们在多跳问答（MHQA）任务上表现较差。我们提出了一种提示方法——有限状态机（FSM）——以增强LLM在复杂任务上的推理能力，同时提高有效性和可信度。与COT方法不同，FSM通过迭代分解问题为多个轮次的子问题，并在过程中自我纠错，从而提高每一步的答案准确性。具体而言，FSM逐个处理子问题，并根据当前结果和状态决定下一步动作，采用类似自动机的格式。实验在基准数据集上表明该方法有效。虽然在相对较简单的 datasets 上与基线相当，但在像 Musique 这类具有挑战性的数据集上表现卓越。此外，该方法缓解了幻觉现象，即使在中间推理过程中出现错误，也能恢复正确的最终答案。 Furthermore, our method improves LLMs' ability to follow specified output format requirements, significantly reducing the difficulty of answer interpretation and the need for reformatting.
引用
@article{arxiv.2407.02964,
title = {FSM: A Finite State Machine Based Zero-Shot Prompting Paradigm for Multi-Hop Question Answering},
author = {Xiaochen Wang and Junqing He and Zhe yang and Yiru Wang and Xiangdi Meng and Kunhao Pan and Zhifang Sui},
journal= {arXiv preprint arXiv:2407.02964},
year = {2024}
}