基于程序合成与少样本学习达到人类水平的神经网络求解、解释并生成大学数学问题
机器学习
2022-09-14 v4 人工智能
摘要
我们展示了在文本上预训练并在代码上微调的神经网络能够以人类水平解决数学课程问题、解释解法并生成新问题。我们利用少样本学习和 OpenAI 的 Codex transformer 自动合成程序并执行它们，以 81% 的自动准确率解决课程问题。我们整理了一个来自麻省理工学院最大数学课程（单变量与多变量微积分、微分方程、概率与统计导论、线性代数以及计算机科学数学）和哥伦比亚大学计算线性代数的新问题数据集。我们解决了 MATH 数据集（涵盖预代数、代数、计数与概率、中级代数、数论和预微积分）中的问题，该数据集是用于评估数学推理的最新高级数学问题基准。我们随机采样问题并通过多种模态（包括数字、方程和图表）生成解法。最新的在文本上预训练的 GPT-3 语言模型使用零样本学习仅能自动解决这些大学问题的 18.8%，使用少样本学习和最新的思维链提示可解决 30.8%。相比之下，使用在代码上微调的 Codex 进行少样本学习的程序合成生成了能自动解决其中 81% 问题的程序。我们的方法将这些基准主题上先前的 SOTA 自动求解准确率从 8.8% 提升至 81.1%。我们进行了一项调查以评估生成问题的质量和难度。本工作是首个以人类水平自动解决大学级数学课程问题的工作，也是首个大规模解释和生成大学级数学课程问题的工作，是高等教育的一个里程碑。
引用
@article{arxiv.2112.15594,
title = {A Neural Network Solves, Explains, and Generates University Math Problems by Program Synthesis and Few-Shot Learning at Human Level},
author = {Iddo Drori and Sarah Zhang and Reece Shuttleworth and Leonard Tang and Albert Lu and Elizabeth Ke and Kevin Liu and Linda Chen and Sunny Tran and Newman Cheng and Roman Wang and Nikhil Singh and Taylor L. Patti and Jayson Lynch and Avi Shporer and Nakul Verma and Eugene Wu and Gilbert Strang},
journal= {arXiv preprint arXiv:2112.15594},
year = {2022}
}
备注
181 pages, 8 figures, 280 tables