结构引导下的受控数据生成合成
高能物理 - 唯象学
2025-06-30 v2 高能物理 - 理论
摘要
数学推理对大语言模型而言仍具有挑战性，原因在于复杂的逻辑和精确计算的需求。现有方法通过问题改写来合成数据集，但存在生成质量和问题复杂度的问题。为此，我们提出从数学推理中提取生成问题解决代码的结构信息，并以结构化解答指导数据生成。应用于 MATH 和 GSM8K，我们的方法产生了 39K 问题，标注了中间步骤，以及一个 6.1K 问题的数据基准，难度更高。我们基准上的结果表明，随着推理长度的增加，模型性能会下降。此外，我们针对所提出的训练数据对 various 大语言模型进行微调实验，结果验证了数据集的有效性。我们希望本方法和数据集将为增强大语言模型推理能力的未来研究贡献。我们的代码和数据可在 https://github.com/OpenCausaLab/StructuralGeneration 获取。
引用
@article{arxiv.2506.07663,
title = {Thermal corrections to dark matter annihilation with real photon emission/absorption},
author = {Prabhat Butola and D. Indumathi and Pritam Sen},
journal= {arXiv preprint arXiv:2506.07663},
year = {2025}
}
备注
32 pages, 8 figures; v2 has changes in Eqs 38, 40, 41