编程测试中 ChatGPT 滥用的不当收益与识别：一项控制实验
人工智能
2023-10-02 v1 计算机与社会
摘要
尽管 ChatGPT 可能帮助学生学编程，但它可被滥用于剽窃，违背学术诚信。学生可要求 ChatGPT 完成编程任务，在未恰当注明来源的情况下由他人作品生成解法。为应对此类新型剽窃，我们开展了一项控制实验，从完成时间与编程表现方面衡量使用 ChatGPT 的不当收益。我们还报告了如何手动识别由 ChatGPT 辅助的程序（通过学生使用 ChatGPT 时的行为）以及学生对 ChatGPT 的看法（通过调查）。十七名学生参与了实验。他们被要求完成两项编程测试。按测试将他们分为两组：一组应在无帮助情况下完成测试，另一组应在 ChatGPT 辅助下完成。我们的研究表明，使用 ChatGPT 的学生完成编程测试的速度是不用 ChatGPT 学生的两倍，尽管其编程表现相当。所生成代码高效且使用了列表与字典等复杂数据结构。基于调查结果，建议将 ChatGPT 用作完成编程任务及其他一般作业的助手。ChatGPT 将像其他搜索引擎一样作为参考而有益。需要逻辑与批判性思维来验证 ChatGPT 给出的结果。
引用
@article{arxiv.2309.16697,
title = {Inappropriate Benefits and Identification of ChatGPT Misuse in Programming Tests: A Controlled Experiment},
author = {Hapnes Toba and Oscar Karnalim and Meliana Christianti Johan and Terutoshi Tada and Yenni Merlin Djajalaksana and Tristan Vivaldy},
journal= {arXiv preprint arXiv:2309.16697},
year = {2023}
}
备注
Accepted at The 26th International Conference on Interactive Collaborative Learning (ICL 2023)