学生掌握还是AI欺骗？分析ChatGPT的测评能力并评估检测策略
计算机与社会
2023-11-29 v1 计算与语言
摘要
ChatGPT 等生成式 AI 系统对学习与测评具有颠覆性影响。计算机科学需要通过练习来培养传统上由作业发展起来的问题解决与编程技能。生成式 AI 能够以高准确度为学生完成这些作业，这极大增加了学术诚信问题以及学生未能达成预期学习成果的可能性。本工作通过在三门课程（CS1、CS2、数据库）上评估 ChatGPT 来考察其表现。ChatGPT 几乎完美完成了所有入门测评。现有检测方法，如基于相似度度量的 MOSS 与 JPlag，以及 GPTzero（AI 检测），在识别 AI 解答上成效不一。评估教师与助教使用启发式方法区分学生代码与 AI 代码表明，其检测不够准确。这些观察强调了调整测评方式与改进检测方法的必要性。
引用
@article{arxiv.2311.16292,
title = {Student Mastery or AI Deception? Analyzing ChatGPT's Assessment Proficiency and Evaluating Detection Strategies},
author = {Kevin Wang and Seth Akins and Abdallah Mohammed and Ramon Lawrence},
journal= {arXiv preprint arXiv:2311.16292},
year = {2023}
}
备注
7 pages, Published in 2023 International Conference on Computational Science and Computational Intelligence Research Track on Education, IEEE CPS