AI 辅助生成难度较高的数学问题
人工智能
2025-02-04 v4 机器学习
摘要
当前的大型语言模型 (LLM) 训练将数学推理定位为核心能力。鉴于公开数据源已被充分消耗，对于多样化和具有挑战性的数学问题存在未满足的需求。仅依赖人类专家生成既耗时又昂贵，而 LLM 生成的问题往往缺乏必需的多样性和难度。在本工作中，我们提出了一种设计框架，将 LLM 的优势与人类在环方法相结合，以生成多样化且具有挑战性的数学问题。我们利用 LLM 的元认知技能 [Didolkar 等，2024] 从现有数学数据集中提取核心“技能”。这些技能作为生成新颖且具有挑战性问题的基础，通过对 LLM 提供随机技能对的提示来实现。两种不同技能的使用使寻找此类问题成为 LLM 和人类的“分布外”任务。我们的管道采用 LLM 迭代生成和细化问题及解答的多轮提示。随后，人类标注员验证并进一步细化问题，其效率通过进一步的 LLM 交互得到提升。将此管道应用于从 MATH 数据集 [Hendrycks 等，2021] 中提取的技能，结果生成了 MATH - 一个更高质量的数学问题数据集，作为证据：(a) 所有模型在 MATH 上的表现低于 MATH (b) 在使用 MATH 问题作为情境示例时，MATH 上的表现更好。虽然本方法聚焦于数学，但似乎适用于需要结构化推理的其他领域， potentially 作为可扩展监督的组件。也值得关注的是，观察到的模型性能呈现惊人的关系：MATH 的成功率是 MATH 的平方，表明成功解决 MATH 中的问题需要两种不同数学技能的非平凡组合。
引用
@article{arxiv.2407.21009,
title = {AI-Assisted Generation of Difficult Math Questions},
author = {Vedant Shah and Dingli Yu and Kaifeng Lyu and Simon Park and Jiatong Yu and Yinghui He and Nan Rosemary Ke and Michael Mozer and Yoshua Bengio and Sanjeev Arora and Anirudh Goyal},
journal= {arXiv preprint arXiv:2407.21009},
year = {2025}
}