AI 聊天机器人能否通过工程基础(FE)与工程原理与实践(PE)结构考试？
计算与语言
2023-04-04 v2
摘要
随着 OpenAI ChatGPT-4 和 Google Bard 的发布，工程界最近见证了聊天机器人技术的出现。尽管已有报道称这些聊天机器人表现良好甚至通过了包括医学与法律考试在内的各类标准化测试，本论坛论文探讨了这些聊天机器人是否也能通过工程基础(FE)与工程原理与实践(PE)考试。我们采用 FE 和 PE 考试中常见的多种土木与环境工程问题及场景来评估聊天机器人的表现。基于相关性、准确性和清晰度对聊天机器人的回答进行分析，并与美国工程与测量考试委员会(NCEES)的推荐标准进行比较。我们的报告显示，ChatGPT-4 和 Bard 在 FE 考试中分别得分 70.9% 和 39.2%，在 PE 考试中分别得分 46.2% 和 41%。显然，当前版本的 ChatGPT-4 有可能通过 FE 考试。尽管未来版本更有可能通过两项考试，本研究也凸显了将聊天机器人用作助教和指导工程师的潜力。
引用
@article{arxiv.2303.18149,
title = {Can AI Chatbots Pass the Fundamentals of Engineering (FE) and Principles and Practice of Engineering (PE) Structural Exams?},
author = {M. Z. Naser and Brandon Ross and Jennier Ogle and Venkatesh Kodur and Rami Hawileh and Jamal Abdalla and Huu-Tai Thai},
journal= {arXiv preprint arXiv:2303.18149},
year = {2023}
}