Astraios：代码大型语言模型的参数高效指令微调
计算与语言
2024-01-02 v1 人工智能
软件工程
摘要
大型语言模型（LLM）全参数微调（FFT）的高昂成本催生了一系列参数高效微调（PEFT）方法。然而，目前尚不清楚在不同模型规模下，哪些方法能提供最佳的性价比权衡。我们提出了 Astraios，这是一套包含 28 个指令微调 OctoCoder 模型的组合，使用了 7 种微调方法和 4 种最大达 160 亿参数的模型规模。通过对涵盖代码理解和代码生成任务的 5 个任务和 8 个不同数据集的调查，我们发现 FFT 通常在所有规模下都能带来最佳的下游性能，而 PEFT 方法的有效性因模型规模而异。LoRA 通常在成本和性能之间提供最有利的权衡。对这些方法在模型鲁棒性和代码安全性方面影响的进一步调查表明，较大的模型往往表现出较低的鲁棒性和安全性。最后，我们探讨了更新参数、交叉熵损失和任务性能之间的关系。我们发现，在小模型中观察到的微调有效性可以很好地推广到较大的模型中，并且指令微调中的验证损失可以作为整体下游性能的可靠指标。
引用
@article{arxiv.2401.00788,
title = {Astraios: Parameter-Efficient Instruction Tuning Code Large Language Models},
author = {Terry Yue Zhuo and Armel Zebaze and Nitchakarn Suppattarachai and Leandro von Werra and Harm de Vries and Qian Liu and Niklas Muennighoff},
journal= {arXiv preprint arXiv:2401.00788},
year = {2024}
}
备注
25 pages (12 main), 19 figures, 8 tables