窄化 Transformer：基于 StarCoder 的 Java 代码语言模型
软件工程
2024-09-10 v2 人工智能
计算与语言
摘要
本文提出了 NT-Java-1.1B，一款基于 StarCoderBase-1.1B 构建的开源专业化代码语言模型，专为 Java 编程任务而设计。NT-Java-1.1B 在 MultiPL-E Java 代码基准测试中实现了领先性能，超越了基础模型及大多数规模相似的其他模型。虽然已有研究尝试将大型通用预训练模型扩展以提高特定编程语言（如 Python）的熟练程度，但针对其他编程语言的小型代码模型的类似研究仍寡淡。大型代码模型需要专用硬件（如GPU）进行推理，凸显了致力于构建可部署于开发者桌面上的小型代码模型的研究需求。本文通过开发 NT-Java-1.1B 及其量化版本，弥补了这一研究空白，该模型在 MultiPL-E Java 代码基准测试中性能与约1.1B规模的开源模型相当，可完美适配桌面部署。本文为构建面向不同语言和规模的 NT 模型家族的专业化模型奠定了基础。
引用
@article{arxiv.2407.03941,
title = {Narrow Transformer: StarCoder-Based Java-LM For Desktop},
author = {Kamalkumar Rathinasamy and Balaji A J and Ankush Kumar and Gagan Gayari and Harshini K and Rajab Ali Mondal and Sreenivasa Raghavan K S and Swayam Singh and Mohammed Rafee Tarafdar},
journal= {arXiv preprint arXiv:2407.03941},
year = {2024}
}
备注
Updated Authors list