缺口填充提示增强代码辅助的数学推理
计算与语言
2024-11-11 v1
摘要
尽管大语言模型（LLMs）在数学推理等任务上表现强劲，但其广泛应用受到高计算需求和专有限制。思维链和程序思维微调是将LLM知识迁移到小语言模型上的常用方法。然而，思维链在SLM中常导致计算错误，而程序思维展现出更大前景。大多数基于程序思维的方法侧重于直接的问题到代码转换或仅从问题中提取关键信息然后提供代码解，而本工作强调填充问题中的缺口以清晰展示求解路径——当这些信息未被明确提供时，这对SLM而言可能难以理解。因此，本文提出了缺口填充提示，一种旨在增强SLM问题求解过程的两步提示策略。第一步识别这些缺口并提供填充提示，第二步将提示加入问题以生成最终代码解。在两个基准数据集上的实验结果表明，缺口填充提示显著提升了SLM的数学推理能力。
引用
@article{arxiv.2411.05407,
title = {Gap-Filling Prompting Enhances Code-Assisted Mathematical Reasoning},
author = {Mohammad Ghiasvand Mohammadkhani},
journal= {arXiv preprint arXiv:2411.05407},
year = {2024}
}