WizardCoder：以 Evol-Instruct 赋能代码大语言模型
计算与语言
2025-05-28 v2 人工智能
摘要
代码大语言模型（Code LLM），如 StarCoder，已在代码相关任务中展现出卓越性能。然而，现有大多数模型仅在大量原始代码数据上进行了预训练，而未进行指令微调。本文中，我们提出 WizardCoder，通过将 Evol-Instruct 方法适配至代码领域，以复杂指令微调赋能 Code LLM。通过在 HumanEval、HumanEval+、MBPP 和 DS-1000 这四个知名代码生成基准上的全面实验，我们揭示了模型的出色能力。它以显著优势超越所有其他开源 Code LLM。此外，在 HumanEval 和 HumanEval+ 上，我们的模型甚至优于最大的闭源 LLM——Anthropic 的 Claude 和 Google 的 Bard。我们的代码、模型权重与数据已公开于 https://github.com/nlpxucan/WizardLM
引用
@article{arxiv.2306.08568,
title = {WizardCoder: Empowering Code Large Language Models with Evol-Instruct},
author = {Ziyang Luo and Can Xu and Pu Zhao and Qingfeng Sun and Xiubo Geng and Wenxiang Hu and Chongyang Tao and Jing Ma and Qingwei Lin and Daxin Jiang},
journal= {arXiv preprint arXiv:2306.08568},
year = {2025}
}
备注
Large Language model, Code Generation, Code LLMs.This paper has been accepted to ICLR 2024. Please cite the ICLR version