物理专业学生如何评价人工智能对理解性问题的回答?一项关于感知科学准确性与语言质量的研究
物理教育
2023-06-27 v2
摘要
本研究旨在评估学生如何感知 ChatGPT 对物理理解性问题的回答的语言质量和科学准确性。共计 102 名一、二年级物理专业学生面对三道难度递增的入门力学问题(滚动运动、波和流体动力学)。每道题给出四种不同回答。所有回答均归因于 ChatGPT,但实际上其中一份样例解答由研究者编写。本研究中获得的所有 ChatGPT 回答都是错误的、不精确的、不完整的或具误导性的。我们发现 ChatGPT 回答与样例解答在感知语言质量上差异很小。然而,学生对回答的整体科学准确性评分显著不同,对于低、中难度问题样例解答评分最佳。样例解答与 ChatGPT 回答间的差异随学生对问题内容自评知识水平增加而增大。对于大多数学生不熟悉的最高难度问题(流体动力学),一条 ChatGPT 回答被评为与样例解答同样好。因此,本研究提供了关于学生对 ChatGPT 回答的感知及影响其感知因素的数据。结果凸显了教师与学生都需仔细评估 ChatGPT 回答的必要性,尤其在科学准确性方面。未来研究可探索在物理教育中类似“识破机器人”活动的潜力,以培养学生的批判性思维技能。
引用
@article{arxiv.2304.05906,
title = {How do physics students evaluate artificial intelligence responses on comprehension questions? A study on the perceived scientific accuracy and linguistic quality},
author = {Merten Nikolay Dahlkemper and Simon Zacharias Lahme and Pascal Klein},
journal= {arXiv preprint arXiv:2304.05906},
year = {2023}
}
备注
21 pages, 3 figures, submitted to Physical Review: Physics Education Research