CodeLSI：利用低秩优化和领域特定指令调优的自动代码生成框架
软件工程
2025-09-19 v1
摘要
背景：利用基础模型(FMs)进行自动代码生成为提高软件开发效率提供了有前景的解决方案。然而，尤其在依赖第三方API时，仍面临确保领域特定性、成本效益和安全性等挑战。本文引入CodeLSI框架，结合低秩优化和领域特定指令调优以解决这些问题。目标：本研究旨在开发和评估CodeLSI，即一种针对特定领域生成高质�代码的新方法，使用FMs在公司基础设施上进行微调，无需依赖外部API。方法：CodeLSI应用低秩适应技术以降低模型预训练和微调的计算成本。采用领域特定指令调优以将代码生成与组织需求对齐。我们在真实世界的JavaScript编码任务上实现并测试了该框架，数据集来自公司内部软件项目。结果：实验评估表明，CodeLSI生成的高质量、情境感知代码表现优于基线模型，在相关性、准确性和领域适配性方面均表现出色。低秩优化显著降低了资源需求，使公司自有基础设施的可扩展训练成为可能。结论：CodeLSI表明，结合低秩优化与领域特定调优可增强FMs用于自动代码生成的实用性和性能。该方法为基于商业API的解决方案提供了安全、高性价比的替代方案，支持软件开发中更快、更精准的创新。
引用
@article{arxiv.2509.14373,
title = {CodeLSI: Leveraging Foundation Models for Automated Code Generation with Low-Rank Optimization and Domain-Specific Instruction Tuning},
author = {Huy Le and Phong Nguyen and Hao Do and Tuan Nguyen and Thien Pham and Anh Nguyen-Duc and Tho Quan},
journal= {arXiv preprint arXiv:2509.14373},
year = {2025}
}