迈向多步推理答案校准的统一视角
计算与语言
2024-08-20 v3 人工智能
信息检索
机器学习
摘要
采用思维链(Chain-of-Thought, CoT)提示的大型语言模型(LLMs)拓宽了提升多步推理能力的范围。我们一般将多步推理分为两个阶段:生成推理路径以产生推理路径(们);以及答案校准对推理路径(们)进行后处理以获得最终答案。然而,现有文献缺乏对不同答案校准方法的系统分析。本文总结了近期答案校准技术的分类法,并将其拆解为步级与路径级策略。我们随后从统一视角对这些策略进行彻底评估,系统审视跨多条路径的步级与路径级答案校准。实验结果表明,融合两种策略的优势往往能得出最优结果。我们的研究有潜力为通过答案校准优化多步推理提供关键见解。
引用
@article{arxiv.2311.09101,
title = {Towards A Unified View of Answer Calibration for Multi-Step Reasoning},
author = {Shumin Deng and Ningyu Zhang and Nay Oo and Bryan Hooi},
journal= {arXiv preprint arXiv:2311.09101},
year = {2024}
}
备注
Accepted by NLRSE@ACL2024