利用大语言模型探索 MIT 数学与 EECS 课程体系
计算与语言
2023-06-27 v2 人工智能
机器学习
摘要
我们整理了一个包含 4550 道问题与解答的综合数据集，来源涵盖获得学位所需的所有 MIT 数学与电气工程及计算机科学（EECS）课程中的习题集、期中考试与期末考试。我们评估了大语言模型完成 MIT 任何数学与 EECS 专业毕业要求的能力。我们的结果表明，GPT-3.5 成功解答了整个 MIT 课程的三分之一，而 GPT-4 在提示工程下，在排除基于图像的题目的测试集上达到了完美解答率。我们在此数据集上微调了一个开源大语言模型。我们采用 GPT-4 自动对模型回答评分，并按课程、问题与答案类型给出详细性能分解。通过将问题嵌入低维空间，我们探索了问题、主题与课程之间的关系，并借助少样本学习发现了哪些问题与课程是解答其他问题与课程所必需的。我们的分析为课程先修关系与课程设计提供了有价值的见解，凸显了语言模型在学习和改进数学与 EECS 教育方面的潜力。
引用
@article{arxiv.2306.08997,
title = {Exploring the MIT Mathematics and EECS Curriculum Using Large Language Models},
author = {Sarah J. Zhang and Samuel Florin and Ariel N. Lee and Eamon Niknafs and Andrei Marginean and Annie Wang and Keith Tyser and Zad Chin and Yann Hicke and Nikhil Singh and Madeleine Udell and Yoon Kim and Tonio Buonassisi and Armando Solar-Lezama and Iddo Drori},
journal= {arXiv preprint arXiv:2306.08997},
year = {2023}
}
备注
Did not receive permission to release the data or model fine-tuned on the data