ChatGPT 与机械工程：考察其在机械工程基础考试与本科考试中的表现
计算机与社会
2023-09-29 v1 人工智能
摘要
ChatGPT 于 2022 年底的发布引发了人们对人工智能在 STEM 教育及 STEM 职业中潜在应用的浓厚兴趣。因此，围绕生成式 AI 工具在课堂内外能力的诸多问题被提出，并正开始得到探讨。本研究考察 ChatGPT 在机械工程学科中的能力。它旨在考察此类技术在课堂与专业环境中的用例与缺陷。向 ChatGPT 提供了一所大型私立大学高年级机械工程考试的若干题目，以及机械工程基础考试（FE）的若干练习题。对两个 ChatGPT 模型（一个免费使用，一个付费订阅）的回答进行了分析。本文发现，订阅模型（GPT-4）大幅优于免费版本（GPT-3.5），正确率达 76% 对比 51%，但两个模型均仅有文本输入的限制，使得二者都不太可能通过 FE 考试。结果证实了文献中关于 ChatGPT 所犯错误的类型与缺陷的发现。研究发现，由于其不一致性以及倾向于自信地给出错误答案，该工具最适合具备专家知识的用户使用。
引用
@article{arxiv.2309.15866,
title = {ChatGPT & Mechanical Engineering: Examining performance on the FE Mechanical Engineering and Undergraduate Exams},
author = {Matthew Frenkel and Hebah Emara},
journal= {arXiv preprint arXiv:2309.15866},
year = {2023}
}
备注
12,000 words, 5 tables, 1 appendix