基于迭代 LLM 的数学题中分散条件的生成与细化
计算与语言
2025-10-17 v3
摘要
数学推理是检验大语言模型（LLM）智能的重要基准，数学 word problem（MWP）是流行的题目类型。大多数 MWP 数据集仅包含必要信息，而带有分散和冗余条件的题目常被忽视。先前研究发现，在存在分散条件时，流行 LLM 的性能会显著下降。然而，带有分散条件的 MWP 数据集有限，且大多数难度较低，表达不够情境化，使分散条件易于识别和排除，从而削弱了对其进行基准测试的可信度。此外，添加分散条件后，推理过程和答案也可能变化，需要大量劳动来检查和编写解答。为此，我们设计了一个迭代框架使用 LLM 生成分散条件。我们开发了一组提示语，从不同视角和认知水平审查 MWP，鼓励生成分散条件及进一步修改建议。另一个优势是原题与修订题共享解答：我们明确引导 LLM 生成不改变原解答的分散条件，避免生成新的解答。该框架高效且易于部署，在保持数据质量的同时显著减少生成带分散条件的 MWP 的开发负担。
关键词
引用
@article{arxiv.2510.08615,
title = {Iterative LLM-Based Generation and Refinement of Distracting Conditions in Math Word Problems},
author = {Kaiqi Yang and Hang Li and Yucheng Chu and Zitao Liu and Mi Tian and Hui Liu},
journal= {arXiv preprint arXiv:2510.08615},
year = {2025}
}