中文

迈向多步推理答案校准的统一视角

计算与语言 2024-08-20 v3 人工智能 信息检索 机器学习

摘要

采用思维链(Chain-of-Thought, CoT)提示的大型语言模型(LLMs)拓宽了提升多步推理能力的范围。我们一般将多步推理分为两个阶段:生成推理路径以产生推理路径(们);以及答案校准对推理路径(们)进行后处理以获得最终答案。然而,现有文献缺乏对不同答案校准方法的系统分析。本文总结了近期答案校准技术的分类法,并将其拆解为步级与路径级策略。我们随后从统一视角对这些策略进行彻底评估,系统审视跨多条路径的步级与路径级答案校准。实验结果表明,融合两种策略的优势往往能得出最优结果。我们的研究有潜力为通过答案校准优化多步推理提供关键见解。

关键词

引用

@article{arxiv.2311.09101,
  title  = {Towards A Unified View of Answer Calibration for Multi-Step Reasoning},
  author = {Shumin Deng and Ningyu Zhang and Nay Oo and Bryan Hooi},
  journal= {arXiv preprint arXiv:2311.09101},
  year   = {2024}
}

备注

Accepted by NLRSE@ACL2024