AI 与 FCI：ChatGPT 能否展现对大学物理导论的理解？
物理教育
2023-03-28 v2 人工智能
摘要
ChatGPT 是一种突破性的“聊天机器人”——一种构建于大语言模型之上的人工智能界面，该模型在海量人类文本语料上训练以模拟人类对话。除了能够以看似合理的方式交谈外，它还因能够胜任地回答律师资格考试和 MBA 课程中的问题，以及在编写计算机代码时提供有用帮助而受到关注。这些明显的能力引发了关于 ChatGPT 既是高等教育诚信的威胁、反之又是强大教学工具的讨论。在这项工作中，我们基于修改后的力概念测验（FCI）初步分析了两个版本的 ChatGPT（ChatGPT3.5 和 ChatGPT4）在大学第一学期物理领域的表现，以评估其能否正确回答有关运动学和牛顿动力学的概念性物理问题。我们表明，按某些衡量标准，ChatGPT3.5 可以匹配或超过已完成一学期大学物理学习的学生的中位表现，尽管其表现明显不均衡且结果微妙。按同样的标准，我们发现 ChatGPT4 在力学导论主题上的表现已接近与专家物理学家难以区分的程度。在我们的工作完成后，我们注意到了文献 [1]，该文献先于我们发表，并完成了一项关于 ChatGPT3.5 在物理课堂中能力的广泛分析，包括使用另一种修改后的 FCI 版本。我们认为这项工作证实了他们结果中的相应部分，并将分析扩展至 ChatGPT4，其在大多数（但并非全部）方面显示出快速且显著的改进。
引用
@article{arxiv.2303.01067,
title = {AI and the FCI: Can ChatGPT Project an Understanding of Introductory Physics?},
author = {Colin G. West},
journal= {arXiv preprint arXiv:2303.01067},
year = {2023}
}
备注
Updated and expanded. 13 pages, 1 figure, 1 table