研究配置如何影响 LLM 的代码生成：以 ChatGPT 为例
软件工程
2025-02-26 v1
摘要
利用 LLM 进行代码生成正变得日益普遍，诸如 ChatGPT 之类的工具仅需极少输入（如方法签名和简短描述）即可建议方法实现。实证研究进一步强调了 LLM 在处理此类任务时的有效性，展示了在代码生成场景中的显著性能。然而，LLM 本质上是非确定性的，其输出受参数影响，例如调节模型创造性程度的 temperature，以及控制输出中可能出现 token 选择的 top-p。尽管这些参数意义重大，但其作用常被忽视。本文在 548 个 Java 方法的背景下，系统研究了这些参数以及为应对非确定性所需的提示重复次数的影响。我们观察到 ChatGPT 在不同配置下的性能存在显著差异，与 top-p 参数更显著的影响相比，temperature 的影响较为微弱。此外，我们展示了创造性如何增强代码生成任务。最后，我们为应对模型的非确定性提供了具体建议。
引用
@article{arxiv.2502.17450,
title = {Studying How Configurations Impact Code Generation in LLMs: the Case of ChatGPT},
author = {Benedetta Donato and Leonardo Mariani and Daniela Micucci and Oliviero Riganelli},
journal= {arXiv preprint arXiv:2502.17450},
year = {2025}
}