探索面向领域特定文本到代码生成的不同方法
人工智能
2026-03-18 v1
摘要
大型语言模型 (LLM) 在从自然语言描述生成可执行代码方面已显示出强大的能力。然而，通用模型在需要使用特定领域的库、API 或约定的专业编程上下文中常常难以胜任。针对小型开源模型进行定制提供了一种相对低成本的替代方案，以避免依赖大型专有系统。本文研究了如何通过合成数据集适应小型语言模型以进行领域特定代码生成。我们构建了覆盖三个 Python 生态系统内领域的编程练习数据集：通用 Python 编程、Scikit-learn 机器学习工作流程以及基于 OpenCV 的计算机视觉任务。使用这些数据集，我们评估了三种定制策略：few-shot 提示、检索增强生成 (RAG) 以及基于低秩适应 (LoRA) 的参数高效微调。通过基准测试指标和基于相似性的指标（衡量与领域特定代码的对齐程度）对性能进行评估。我们的结果表明，基于提示的方法，如 few-shot 学习和 RAG 可以成本效益的方式提高领域相关性，尽管对基准准确率的影响有限。相比之下，LoRA 基于微调在大多数任务上 consistently 实现更高的准确率和更强的领域对齐。这发现了在为专业编程任务调整小型语言模型时，在灵活性、计算成本和性能之间的实际权衡。
引用
@article{arxiv.2603.16526,
title = {Exploring different approaches to customize language models for domain-specific text-to-code generation},
author = {Luís Freire and Fernanda A. Andaló and Nicki Skafte Detlefsen},
journal= {arXiv preprint arXiv:2603.16526},
year = {2026}
}