代码大语言模型理解设计模式吗?
软件工程
2025-01-10 v1 人工智能
摘要
代码大语言模型在适应各种下游任务中展现出极大的通用性,包括代码生成与补全,以及缺陷检测与修复。然而,代码大语言模型通常无法捕捉现有的编码标准,导致生成的代码与给定项目所需的设计模式相冲突。因此,开发者必须进行后处理,以使生成的代码适应项目的设计规范。在这项工作中,我们实证研究了代码大语言模型在软件开发中的偏差。通过精心设计的实验,我们评估了模型在识别、理解和生成方面对设计模式的理解能力。我们的研究结果表明,代码大语言模型中的偏差显著影响了下游任务的可靠性。
引用
@article{arxiv.2501.04835,
title = {Do Code LLMs Understand Design Patterns?},
author = {Zhenyu Pan and Xuefeng Song and Yunkun Wang and Rongyu Cao and Binhua Li and Yongbin Li and Han Liu},
journal= {arXiv preprint arXiv:2501.04835},
year = {2025}
}
备注
accpeted by llm4code workshop in ICSE 2025