通过协同推理诱导语言模型求解数学应用题
计算与语言
2024-01-01 v5
摘要
大规模预训练语言模型（PLMs）为具有挑战性的问题带来了新机遇，尤其是那些需要高水平智能的问题，例如数学应用题（MWPs）。然而，直接将现有 PLM 应用于 MWP 可能会失败，因为生成过程缺乏充分的监督，因而缺乏像人类那样的快速适应性。我们注意到人类推理具有一个双重推理框架，由即时反应系统（系统 1）和精细推理系统（系统 2）组成，其中整个推理由二者的交互决定。这启发我们开发一种用于求解 MWP 的协同推理诱导 PLM，称为协同推理（CoRe），从而形成一种以系统 1 为生成器、系统 2 为验证器的人类式推理架构。在我们的方法中，生成器负责生成推理路径，验证器用于监督评估，以便为生成器获得可靠的反馈。我们在多个数学推理数据集上评估了 CoRe 框架，相比最先进的方法取得了显著提升，较最佳基线最高提升 9.6%。我们的代码可在 https://github.com/TianHongZXY/CoRe 获取。
引用
@article{arxiv.2210.16257,
title = {Solving Math Word Problems via Cooperative Reasoning induced Language Models},
author = {Xinyu Zhu and Junjie Wang and Lin Zhang and Yuxiang Zhang and Ruyi Gan and Jiaxing Zhang and Yujiu Yang},
journal= {arXiv preprint arXiv:2210.16257},
year = {2024}
}
备注
Accepted to ACL 2023 Main Conference; Camera Ready