穿越噪声：提升 LLM 在数学 word 问题上的表现
计算与语言
2025-09-17 v5
摘要
大型语言模型 (LLM) 在解决数学 word 问题 (MWP) 上表现优异，但在包含无关信息的真实问题时则感到困扰。为此，我们提出了一种提示框架，通过添加无关变量来生成 MWP 的对抗变体。我们引入了一个数据集 PROBLEMATHIC，包含对抗式和非对抗式 MWP。我们的实验显示，LLM 在对抗 MWP 上因数值噪声而受到干扰，性能平均下降约 26%。为缓解此问题，我们对 LLM (Llama-2、Mistral) 在数据集中从对抗样本上进行微调。在对抗训练样本上进行微调可使对抗 MWP 性能提升约 8%，表明模型对噪声具有更强的鲁棒性，并能更好地识别用于推理的相关数据。最后，为评估我们提示框架的可泛化性，我们引入了 GSM-8K-Adv，这一 GSM-8K 数据集的对抗变体。LLM 在面对对抗信息时仍感到困扰，性能下降最高可达 6%。
关键词
引用
@article{arxiv.2406.15444,
title = {Cutting Through the Noise: Boosting LLM Performance on Math Word Problems},
author = {Ujjwala Anantheswaran and Himanshu Gupta and Kevin Scaria and Shreyas Verma and Chitta Baral and Swaroop Mishra},
journal= {arXiv preprint arXiv:2406.15444},
year = {2025}
}
备注
Published at ICLR 2025 Workshop on Reasoning and Planning for LLMs