32 门大学课程中对话式人工智能的可感知性、表现与可检测性
计算机与社会
2023-08-30 v1 人工智能
摘要
大语言模型的出现催生了如 ChatGPT 等强大工具，其生成的文本与人类作品难以区分。随着此类技术可及性的提升，全球学生可能借助其完成学业任务——这一可能性引发了关于人工智能（AI）时代学生评估诚信的讨论。迄今为止，此类工具在大学水平课程上相较于学生的表现如何尚不清楚。此外，学生对此类工具使用的看法，以及教育者将此类使用视为剽窃的态度，仍属未知。在此，我们将 ChatGPT 在 32 门大学水平课程上的表现与学生进行比较。我们还评估了两个专为此目的设计的分类器对其使用进行检测的程度。此外，我们在五个国家开展调查，并在作者所在机构进行了更深入的调查，以了解学生和教育者对 ChatGPT 使用的认知。我们发现，ChatGPT 在许多课程中的表现可与学生媲美，甚至更优。此外，当前的 AI 文本分类器无法可靠检测学业任务中 ChatGPT 的使用，因为它们倾向于将人类撰写的答案分类为 AI 生成，且 AI 生成文本易被编辑以规避检测。最后，我们发现学生中形成了使用该工具的共识，教育者中则形成了将其视为剽窃的共识。我们的发现为引导有关 AI 融入教育框架的政策讨论提供了见解。
引用
@article{arxiv.2305.13934,
title = {Perception, performance, and detectability of conversational artificial intelligence across 32 university courses},
author = {Hazem Ibrahim and Fengyuan Liu and Rohail Asim and Balaraju Battu and Sidahmed Benabderrahmane and Bashar Alhafni and Wifag Adnan and Tuka Alhanai and Bedoor AlShebli and Riyadh Baghdadi and Jocelyn J. Bélanger and Elena Beretta and Kemal Celik and Moumena Chaqfeh and Mohammed F. Daqaq and Zaynab El Bernoussi and Daryl Fougnie and Borja Garcia de Soto and Alberto Gandolfi and Andras Gyorgy and Nizar Habash and J. Andrew Harris and Aaron Kaufman and Lefteris Kirousis and Korhan Kocak and Kangsan Lee and Seungah S. Lee and Samreen Malik and Michail Maniatakos and David Melcher and Azzam Mourad and Minsu Park and Mahmoud Rasras and Alicja Reuben and Dania Zantout and Nancy W. Gleason and Kinga Makovi and Talal Rahwan and Yasir Zaki},
journal= {arXiv preprint arXiv:2305.13934},
year = {2023}
}
备注
17 pages, 4 figures