利用可靠推理过程指导增强数值推理能力
计算与语言
2024-02-19 v1
摘要
数值推理是自然语言处理（NLP）系统处理数字信息的基本能力。近期研究表明，微调小规模模型以学习生成推理过程 alongside 答案，可以显著提升性能。然而，当前方法存在局限性：大多数方法利用大语言模型（LLMs）生成推理过程，而这些过程是“不可靠”的，因为它们可能包含与答案无关的信息。为解决这一局限，我们提出了“利用可靠推理过程增强数值推理”（Encore），该方法通过分解答案公式导出可靠的推理过程，确保其完全支持答案。尽管如此，由于我们的方法仅为每个公式生成单个推理过程，模型可能缺乏足够的数据来充分学习推理过程的生成。为克服这一困难，我们提出了一系列预训练任务，利用合成数据帮助模型学习推理过程生成。实验表明，Encore 在所有五个实验数据集上均取得了提升，平均提升幅度为 1.8%，证明了该方法的有效性。
引用
@article{arxiv.2402.10654,
title = {Enhancing Numerical Reasoning with the Guidance of Reliable Reasoning Processes},
author = {Dingzirui Wang and Longxu Dou and Xuanliang Zhang and Qingfu Zhu and Wanxiang Che},
journal= {arXiv preprint arXiv:2402.10654},
year = {2024}
}