神经代码生成中的思维链：源自并服务于轻量级语言模型
软件工程
2024-08-06 v2
摘要
大型语言模型（LLMs）在代码生成中展现了巨大潜力。引入思维链推理可进一步提升其性能。然而，当前的CoT方法通常需要人工编写或参数量超过千亿级的LLMs才能生成，这阻碍了其在资源受限场景下的适用性。本研究探讨轻量级语言模型，其定义为参数量少于百亿的模型。实验发现，在few-shot方法提示下，大多数lLMs无法生成高质量CoTs，但能利用其他地方生成的高质量CoTs来提升其在代码生成中的性能。基于这些发现，我们设计了一种新方法COTTON，可利用lLMs自动生成用于代码生成的CoTs。我们合成了新数据集并在各种基准上进行了广泛实验。结果表明，COTTON生成的CoTs在自动化和人工评估指标上均优于基线。特别是，COTTON生成的CoTs使各种lLMs获得了比ChatGLM (130B) 等LLMs生成的CoTs更高的性能提升，且与gpt-3.5-turbo (175B) 生成的CoTs具有竞争力。本研究还展示了lLMs在软件工程应用中的潜力。
引用
@article{arxiv.2312.05562,
title = {Chain-of-Thought in Neural Code Generation: From and For Lightweight Language Models},
author = {Guang Yang and Yu Zhou and Xiang Chen and Xiangyu Zhang and Terry Yue Zhuo and Taolue Chen},
journal= {arXiv preprint arXiv:2312.05562},
year = {2024}
}
备注
ACCEPT IN TSE