规划、验证与切换：基于多样化X-of-Thoughts的集成推理
计算与语言
2023-12-29 v2
摘要
随着大型语言模型（LLM）在不同提示方法（如思维链、程序思维）中展现出有效性，我们发现这些方法在数学推理任务上形成了极好的互补性。本工作中，我们提出XoT，一种通过以多样化推理思维提示LLM的集成问题求解框架。对于每个问题，XoT总是先选择最合适的方法，然后迭代执行各方法。在每次迭代中，XoT主动检查生成答案的有效性，并融合来自外部执行器的反馈，使其能在不同提示方法间动态切换。通过在10个流行数学推理数据集上的大量实验，我们证明了所提方法的有效性，并深入分析了各模块的优势。此外，实证结果表明我们的框架与近期改进单一推理方法的工作正交，并可进一步推广至逻辑推理领域。通过允许方法切换，XoT为统一框架中多样推理思维的协作集成提供了新视角。代码见https://github.com/tengxiaoliu/XoT。
引用
@article{arxiv.2310.14628,
title = {Plan, Verify and Switch: Integrated Reasoning with Diverse X-of-Thoughts},
author = {Tengxiao Liu and Qipeng Guo and Yuqing Yang and Xiangkun Hu and Yue Zhang and Xipeng Qiu and Zheng Zhang},
journal= {arXiv preprint arXiv:2310.14628},
year = {2023}
}
备注
EMNLP 2023