从人工数日到机器数秒：自动作答与生成机器学习期末考试题
机器学习
2023-06-29 v7
摘要
麻省理工学院、哈佛大学或康奈尔大学等顶尖机构的机器学习期末考试，通常需教师花费数日编写、学生花费数小时作答。我们展示了大型语言模型能够以人类水平通过机器学习期末考试（这些试题在模型训练后于网上公开），并在数秒内自动生成具有人类水平的新期末考试题。已有研究开发了程序合成与少样本学习方法，用于求解数学及STEM课程中大学级别的问题集题目。本工作中，我们开发并比较了求解期末考试题的方法，期末考试题与问题集在若干方面不同：题目更长、含多个部分、更为复杂，且涵盖更广的主题范围。我们整理了一个由网上公开的机器学习期末考试题构成的数据集与基准，并编写了用于作答这些题目及生成新题目的代码。我们展示了如何由其他题目与课程笔记生成新题目。为可复现性及该期末考试基准的未来研究，我们对选择题、数值题及表达式答案题使用自动检查器。我们进行了消融研究，比较GPT-3、OPT、Codex与ChatGPT在机器学习各主题上零样本学习、少样本学习及思维链提示的效果，发现少样本学习方法表现最佳。我们强调了语言模型在简化大规模测评编写与求解方面的变革潜力，将工作负担从人工数日大幅缩减至机器数秒。我们的结果表明，教师不应在课堂上禁用ChatGPT等大型语言模型，而应教导学生通过就生成回答的正确性、完整性与原创性提出元问题来驾驭它们，从而在学术研究中鼓励批判性思维。
引用
@article{arxiv.2206.05442,
title = {From Human Days to Machine Seconds: Automatically Answering and Generating Machine Learning Final Exams},
author = {Iddo Drori and Sarah J. Zhang and Reece Shuttleworth and Sarah Zhang and Keith Tyser and Zad Chin and Pedro Lantigua and Saisamrit Surbehera and Gregory Hunter and Derek Austin and Leonard Tang and Yann Hicke and Sage Simhon and Sathwik Karnik and Darnell Granberry and Madeleine Udell},
journal= {arXiv preprint arXiv:2206.05442},
year = {2023}
}
备注
9 pages