从大到小：在弱监督下蒸馏与精炼数学专业知识以求解数学应用题
计算与语言
2024-09-11 v1
摘要
针对通过完整监督及中间方程求解数学应用题（MWPs）所面临的高昂标注成本挑战，近期研究提出了仅依赖最终答案作为监督信号的弱监督任务设定。现有的主流方法通常采用各种搜索技术来推断中间方程，但无法保证其与自然语言描述之间的语义一致性。ChatGPT等大语言模型（LLMs）的兴起为解决MWPs开辟了新的可能性。然而，LLMs的计算需求使其在资源紧张的环境下并不理想。鉴于这些挑战，我们引入了一个创新的两阶段框架，该框架能巧妙地将数学专业知识从大语言模型迁移到小语言模型。在“蒸馏阶段”，我们提出了一系列满足MWPs性质的提取过程，从LLMs中蒸馏数学知识，以构建监督训练所需的问题-方程对。在“精炼阶段”，由于知识蒸馏方法无法保证所有数据的充分利用，我们进一步通过知识精炼方法有效利用那些未成功搜索到的数据。最后，我们使用通过两阶段方法生成的蒸馏数据训练一个小模型。由于我们的方法在搜索“问题-方程”对的过程中充分利用了语义理解能力，与现有小模型方法相比，它在Math23K和Weak12K数据集上展现出显著提升的性能，同时保持了远低于ChatGPT的计算成本。
引用
@article{arxiv.2403.14390,
title = {From Large to Tiny: Distilling and Refining Mathematical Expertise for Math Word Problems with Weakly Supervision},
author = {Qingwen Lin and Boyan Xu and Zhengting Huang and Ruichu Cai},
journal= {arXiv preprint arXiv:2403.14390},
year = {2024}
}