富有创意且正确:向 AI 基础模型请求多样化的代码解决方案
软件工程
2024-03-21 v1
摘要
AI 基础模型具有针对单个提示产生多种响应的能力,这一特性在软件工程中对于生成多样化的代码解决方案极为有益。然而,这种优势在多样性与正确性之间引入了显著的权衡。在软件工程任务中,多样性是探索设计空间和培养创造力的关键,但这些解决方案的实用价值在很大程度上取决于其正确性。我们的研究通过使用 HumanEval 任务进行实验,系统地调查了这种权衡,探索了各种参数设置和提示策略。我们使用代码克隆社区的相似性度量来评估代码解决方案的多样性。该研究确定了在此权衡空间 Pareto 前沿上实现多样性与正确性最佳平衡的参数和策略组合。这些发现为软件工程师如何有效使用 AI 基础模型生成多样且准确的代码解决方案提供了有价值的见解。
引用
@article{arxiv.2403.13259,
title = {Creative and Correct: Requesting Diverse Code Solutions from AI Foundation Models},
author = {Scott Blyth and Markus Wagner and Christoph Treude},
journal= {arXiv preprint arXiv:2403.13259},
year = {2024}
}
备注
4 pages,Forge 2024