Qwen2.5-Coder 技术报告
计算与语言
2024-11-13 v3
摘要
在本报告中，我们介绍了 Qwen2.5-Coder 系列，这是一个来自其前身 CodeQwen1.5 的显著升级。该系列包括六个模型：Qwen2.5-Coder-(0.5B/1.5B/3B/7B/14B/32B)。作为一个专注于代码的模型，Qwen2.5-Coder 基于 Qwen2.5 架构，并在超过 5.5 万亿 token 的庞大语料库上继续预训练。通过严谨的数据清洗、可扩展的人工合成数据生成和平衡的数据混合，Qwen2.5-Coder 在保持通用和数学技能的同时展现出惊人的代码生成能力。我们对这些模型在广泛的 code-related 任务上进行了评估，超过 10 个基准实现了 state-of-the-art（SOTA）性能，包括代码生成、完成、推理和修复，始终在相同模型规模的更大模型中表现突出。我们相信，Qwen2.5-Coder 系列的发布将推动代码智能的研究，并通过其宽松的许可证支持开发人员在实际应用中广泛采用。
引用
@article{arxiv.2409.12186,
title = {Qwen2.5-Coder Technical Report},
author = {Binyuan Hui and Jian Yang and Zeyu Cui and Jiaxi Yang and Dayiheng Liu and Lei Zhang and Tianyu Liu and Jiajun Zhang and Bowen Yu and Keming Lu and Kai Dang and Yang Fan and Yichang Zhang and An Yang and Rui Men and Fei Huang and Bo Zheng and Yibo Miao and Shanghaoran Quan and Yunlong Feng and Xingzhang Ren and Xuancheng Ren and Jingren Zhou and Junyang Lin},
journal= {arXiv preprint arXiv:2409.12186},
year = {2024}
}