分析提示对自动化方法生成的影响：一项基于 Copilot 的实证研究
软件工程
2024-02-15 v1 人工智能
摘要
生成式 AI 正在改变开发者与软件系统交互的方式，提供服务以生成并提供满足开发者实际需求的新内容。例如，开发者可以通过编写自然语言提示直接在 IDE 中请求新代码，而基于生成式 AI 的集成服务（如 Copilot）会立即响应提示并提供可用的代码片段。恰当地构建提示，在纳入有用信息的同时避免信息过载，可能是获得正确代码的重要因素。设计良好提示的任务被称为提示工程。在本文中，我们系统地研究了八个提示特征对提示风格和内容的影响，以及对生成代码的正确性、复杂性、大小和与开发者代码相似度的影响。我们具体考虑了使用 Copilot 的任务，通过系统组合八个考虑的提示特征获得了 124,800 个提示，用于生成 200 个 Java 方法的实现。结果表明，某些提示特征（例如示例的存在和方法目的的摘要）会显著影响结果的质量。
引用
@article{arxiv.2402.08430,
title = {Analyzing Prompt Influence on Automated Method Generation: An Empirical Study with Copilot},
author = {Ionut Daniel Fagadau and Leonardo Mariani and Daniela Micucci and Oliviero Riganelli},
journal= {arXiv preprint arXiv:2402.08430},
year = {2024}
}