激发指令微调代码语言模型利用辅助函数进行代码生成的能力
软件工程
2024-09-24 v1 人工智能
计算与语言
摘要
我们研究了基于代码预训练语言模型构建的指令微调模型在可以访问辅助函数来实现某个函数时的代码生成行为。我们设计了几种向模型提供辅助函数的方法，包括将其添加到查询中或提供响应前缀，从而将利用辅助函数的能力与指令遵循能力相结合。实验结果表明，将基础模型的辅助函数利用能力与指令遵循能力相结合是有效的。具体而言，采用我们方法的开源语言模型的性能超越了近期强大的专有语言模型，即 gpt-4o。
引用
@article{arxiv.2409.13928,
title = {Eliciting Instruction-tuned Code Language Models' Capabilities to Utilize Auxiliary Function for Code Generation},
author = {Seonghyeon Lee and Suyeon Kim and Joonwon Jang and Heejae Chon and Dongha Lee and Hwanjo Yu},
journal= {arXiv preprint arXiv:2409.13928},
year = {2024}
}
备注
EMNLP 2024 Findings Short