PromptCoT：面向大型语言模型数学推理的奥林匹克级问题合成
计算与语言
2025-12-23 v1 人工智能
机器学习
摘要
大型语言模型解决复杂数学问题的能力已取得显著进展，尤其是在需要高级推理的任务上。然而，具有足够挑战性的问题（特别是奥林匹克级别的问题）的稀缺性阻碍了进一步的提升。在本工作中，我们提出了 PromptCoT，一种自动生成高质量奥林匹克级数学问题的新方法。该方法基于数学概念和问题构建背后的逻辑依据来合成复杂问题，模拟了经验丰富的问题设计者的思维过程。我们提供了理论分析，证明最优的逻辑依据应同时最大化在给定相关概念下生成逻辑依据的似然，以及在给定逻辑依据和概念下生成问题的似然。我们的方法在包括 GSM8K、MATH-500 和 AIME2024 在内的标准基准上进行了评估，其表现始终优于现有的问题生成方法。此外，我们证明了 PromptCoT 展现出卓越的数据可扩展性，随着数据集规模的增加，能够持续保持高性能并优于基线方法。实现代码可在 https://github.com/zhaoxlpku/PromptCoT 获取。
引用
@article{arxiv.2503.02324,
title = {PromptCoT: Synthesizing Olympiad-level Problems for Mathematical Reasoning in Large Language Models},
author = {Xueliang Zhao and Wei Wu and Jian Guan and Lingpeng Kong},
journal= {arXiv preprint arXiv:2503.02324},
year = {2025}
}
备注
Preprint