Bridge-Coder：释放LLM潜力以克服低资源代码中的语言鸿沟
计算与语言
2024-10-25 v1
摘要
大型语言模型（LLM）在生成Python等高级资源编程语言（HRPL）的代码方面表现出很强的能力，但在处理Racket或D等低资源编程语言（LRPL）时却困难重重。这种性能差距加深了数字鸿沟，阻止了使用LRPL的开发者平等地受益于LLM的进步，并加剧了代表性不足的编程社区内的创新差距。虽然为LRPL生成额外的训练数据很有前景，但它面临两个关键挑战：手动标注劳动密集且成本高昂，并且LLM生成的LRPL代码质量往往不佳。这个问题的根本原因是自然语言到编程语言的鸿沟（NL-PL Gap），由于对齐数据有限，这在LRPL中尤为突出。在这项工作中，我们引入了一种名为Bridge-Coder的新方法，它利用LLM的内在能力来提升在LRPL上的性能。我们的方法包括两个关键阶段。桥接生成，我们通过利用LLM的通用知识理解、对HRPL的熟练程度以及上下文学习能力来创建高质量数据集。然后，我们应用桥接对齐，逐步改进自然语言指令与LRPL之间的对齐。跨多个LRPL的实验结果表明，Bridge-Coder显著提升了模型性能，证明了我们方法的有效性和泛化能力。此外，我们对我们方法的关键组成部分进行了详细分析，为未来旨在解决与LRPL相关挑战的工作提供了宝贵的见解。
引用
@article{arxiv.2410.18957,
title = {Bridge-Coder: Unlocking LLMs' Potential to Overcome Language Gaps in Low-Resource Code},
author = {Jipeng Zhang and Jianshu Zhang and Yuanzhe Li and Renjie Pi and Rui Pan and Runtao Liu and Ziqiang Zheng and Tong Zhang},
journal= {arXiv preprint arXiv:2410.18957},
year = {2024}
}
备注
15 pages, 3 figures