以用户为中心的 Copilot 安全性评估
软件工程
2024-01-09 v4 密码学与安全
摘要
由人工智能驱动的代码生成工具近期因深度学习和自然语言处理的进步提升了其能力而变得更加流行。这些工具的扩散可能是一把双刃剑，因为尽管它们能通过简化代码编写来提高开发者生产力，但研究表明它们也可能生成不安全的代码。在本文中，我们对 GitHub 的 Copilot 进行以用户为中心的评估，以更好地理解其在代码安全性方面的优势与弱点。我们开展了一项用户研究，参与者解决具有潜在脆弱解的编程问题（在有和无 Copilot 辅助下）。该用户研究的主要目标是确定 Copilot 的使用如何影响参与者的安全性表现。在我们的参与者群体（n=25）中，我们发现对于较困难的问题，使用 Copilot 伴随着更安全的解决方案。对于较简单的问题，我们观察到 Copilot 的使用对解决方案安全性无影响。我们还观察到 Copilot 的使用对特定类型漏洞无不成比例的影响。我们的结果表明使用 Copilot 存在潜在安全益处，但关于代码生成工具对具有安全需求的技术复杂问题之影响仍需更多研究。
引用
@article{arxiv.2308.06587,
title = {A User-centered Security Evaluation of Copilot},
author = {Owura Asare and Meiyappan Nagappan and N. Asokan},
journal= {arXiv preprint arXiv:2308.06587},
year = {2024}
}
备注
To be published in ICSE 2024 Research Track