评估 ChatGPT 对软件安全课程练习的影响
计算机与社会
2023-09-20 v1
摘要
随着大语言模型（LLMs）的发展，例如 ChatGPT，许多现有的软件安全方法与工具正在发生变化。因此，理解这些模型的安全意识程度以及它们如何影响软件安全实践与教育至关重要。在我们大学的一门软件安全课程练习中，我们要求学生使用最先进的工具识别并修复我们插入到一个 Web 应用中的漏洞。在 ChatGPT（尤其是该模型的 GPT-4 版本）出现后，我们想了解学生可能如何利用 ChatGPT 来完成练习任务。我们将存在漏洞的代码输入 ChatGPT，并衡量其在漏洞识别与修复方面的准确率。此外，我们调查了 ChatGPT 能否提供恰当的信息来源以支持其输出。结果显示，在白盒设定下，ChatGPT 能识别我们插入到 Web 应用中的 28 个漏洞中的 20 个，报告了三个误报，并发现了超出我们所插入范围的四个额外漏洞。对于我们希望学生修复的十个漏洞，ChatGPT 给出了九条令人满意的渗透测试与修复建议，并且通常能指向相关的信息来源。
引用
@article{arxiv.2309.10085,
title = {Evaluating the Impact of ChatGPT on Exercises of a Software Security Course},
author = {Jingyue Li and Per Håkon Meland and Jakob Svennevik Notland and André Storhaug and Jostein Hjortland Tysse},
journal= {arXiv preprint arXiv:2309.10085},
year = {2023}
}
备注
6 pages, 1 table, accepted to the 17th ACM/IEEE International Symposium on Empirical Software Engineering and Measurement (ESEM 2023)