少量样本学习是否帮助 LLM 在代码合成中提升性能？
软件工程
2024-12-05 v1 人工智能
计算与语言
机器学习
摘要
大型语言模型 (LLM) 通过改进的模型设计、训练和链条推理在代码生成方面取得了显著进展。然而，prompt 级别的优化仍是 LLM 编码中重要但鲜有探索的方面。本文聚焦于大多数代码生成提示中出现的少量样本，提供一项系统性研究，探讨少量样本是否提升 LLM 的编码能力、哪些少量样本具有最大影响、以及如何选择有影响的样本。我们的工作提供两种选择少量样本的方法：一种是 model-free 方法 CODEEXEMPLAR-FREE，另一种是 model-based 方法 CODEEXEMPLAR-BASED。这两种方法在改进性能与对训练数据依赖性和可解释性之间提供了权衡。两种方法都在流行的人类评估+数据集上显著提升了 CodeLlama 的编码能力。总而言之，我们的工作为在代码生成提示中选择少量样本以提升 LLM 代码生成能力提供了宝贵的见解。
引用
@article{arxiv.2412.02906,
title = {Does Few-Shot Learning Help LLM Performance in Code Synthesis?},
author = {Derek Xu and Tong Xie and Botao Xia and Haoyu Li and Yunsheng Bai and Yizhou Sun and Wei Wang},
journal= {arXiv preprint arXiv:2412.02906},
year = {2024}
}