Code Llama:面向代码的开放基础模型
计算与语言
2024-02-02 v3
摘要
我们发布Code Llama,一个基于Llama 2的代码大语言模型家族,在开放模型中提供最先进的性能、填充能力、对大输入上下文的支持,以及针对编程任务的零样本指令跟随能力。我们提供多种变体以覆盖广泛应用:基础模型(Code Llama)、Python专用模型(Code Llama - Python)和指令跟随模型(Code Llama - Instruct),每种均有7B、13B、34B和70B参数。所有模型均在16k tokens的序列上训练,并在多达100k tokens的输入上显示改进。7B、13B和70B的Code Llama及Code Llama - Instruct变体支持基于周围内容的填充。Code Llama在多个代码基准上达到开放模型中的最先进性能,在HumanEval和MBPP上分别取得最高67%和65%的分数。值得注意的是,Code Llama - Python 7B在HumanEval和MBPP上优于Llama 2 70B,且我们的所有模型在MultiPL-E上优于其他所有公开可用模型。我们在允许研究和商业使用的宽松许可下发布Code Llama。
引用
@article{arxiv.2308.12950,
title = {Code Llama: Open Foundation Models for Code},
author = {Baptiste Rozière and Jonas Gehring and Fabian Gloeckle and Sten Sootla and Itai Gat and Xiaoqing Ellen Tan and Yossi Adi and Jingyu Liu and Romain Sauvestre and Tal Remez and Jérémy Rapin and Artyom Kozhevnikov and Ivan Evtimov and Joanna Bitton and Manish Bhatt and Cristian Canton Ferrer and Aaron Grattafiori and Wenhan Xiong and Alexandre Défossez and Jade Copet and Faisal Azhar and Hugo Touvron and Louis Martin and Nicolas Usunier and Thomas Scialom and Gabriel Synnaeve},
journal= {arXiv preprint arXiv:2308.12950},
year = {2024}
}