Kattis 对决 ChatGPT：人工智能时代编程任务的评估与评价
人工智能
2023-12-05 v1 计算机与社会
软件工程
摘要
AI 驱动的教育技术可以在计算机科学教育中为学生和教师提供支持。然而，随着生成式 AI 的最新发展，尤其是 ChatGPT 日益增长的流行度，使用大语言模型解决编程任务的有效性尚未得到充分探索。本研究考察了 ChatGPT 在入门编程课程中为不同难度级别生成代码解决方案的能力。我们进行了一项实验，在 Kattis（一个计算机科学程序自动软件评分工具，常用于高等教育）提供的 127 个随机选取的编程问题上对 ChatGPT 进行了测试。结果表明，ChatGPT 能够独立解决由 Kattis 生成和评估的 127 个编程任务中的 19 个。此外，研究发现 ChatGPT 能够为简单问题生成准确的代码解决方案，但在处理更复杂的编程任务时遇到困难。这些结果为关于 AI 驱动工具在编程教育中实用性的持续辩论做出了贡献。
引用
@article{arxiv.2312.01109,
title = {Kattis vs. ChatGPT: Assessment and Evaluation of Programming Tasks in the Age of Artificial Intelligence},
author = {Nora Dunder and Saga Lundborg and Olga Viberg and Jacqueline Wong},
journal= {arXiv preprint arXiv:2312.01109},
year = {2023}
}
备注
10 pages, 2 figures, 3 tables. (Pre-print). Final version to be submitted to ACM Journals. LAK2024, March,18-22, 2024, Kyoto, Japan