ChatGPT 与软件测试教育：前景与隐患
软件工程
2023-06-05 v3 人机交互
摘要
在过去十年中，代码的预测式语言建模已被证明是使开发者实现新形式自动化的宝贵工具。最近，我们看到了通用“大语言模型”的出现，它们基于神经 Transformer 架构，在涵盖代码和自然语言的海量人类书写文本数据集上进行了训练。然而，尽管此类模型已展现出强大的表示能力，但与它们的交互在历史上一直局限于特定任务设置，限制了它们的通用性。随着 ChatGPT 的引入，这些局限性中的许多最近被克服，ChatGPT 是由 OpenAI 创建并训练为对话代理的语言模型，使其能够回答问题并响应最终用户的各种命令。诸如 ChatGPT 等模型的引入已经引发了教育工作者的热烈讨论，从担心学生可能使用这些 AI 工具逃避学习，到对它们可能解锁的新型学习机会感到兴奋。然而，鉴于这些工具尚处于起步阶段，我们目前缺乏关于它们在不同教育环境中表现如何，以及它们可能对传统教学形式构成的潜在前景（或危险）的基础知识。因此，在本文中，我们考察了 ChatGPT 在被要求回答流行软件测试课程中的常见问题时的表现。我们的发现表明，ChatGPT 在 55.6% 的情况下能提供正确或部分正确的答案，在 53.0% 的情况下能提供正确或部分正确的答案解释，并且在共享问题上下文中提示该工具会导致正确响应率略有提高。基于这些发现，我们讨论了学生和教师使用 ChatGPT 的潜在前景与隐患。
引用
@article{arxiv.2302.03287,
title = {ChatGPT and Software Testing Education: Promises & Perils},
author = {Sajed Jalil and Suzzana Rafi and Thomas D. LaToza and Kevin Moran and Wing Lam},
journal= {arXiv preprint arXiv:2302.03287},
year = {2023}
}
备注
2023 IEEE International Conference on Software Testing, Verification and Validation Workshops (ICSTW), 8 pages, 2 tables, 6 figures