FLeX：基于傅里叶的低秩扩展用于多语言迁移
机器学习
2026-04-09 v1 人工智能
编程语言
摘要
跨语言代码生成在多个编程语言共存的企业环境中至关重要。然而，为每个语言单独微调大型语言模型（LLM）在计算上是昂贵的。本文探讨了参数高效微调方法和优化器改进是否可以提高从 Python 迁移到诸如 Java 等语言的跨语言 transfer。我们使用低秩适应（LoRA）对 Code Llama 7B 模型进行微调，以优化少量参数，并比较 Adam 和 Sophia 优化器，同时探索一种新的傅里叶-based 正则化技术。我们的贡献包括：（1）表明在小而高质量的数据集（MBPP）上进行 LoRA 微调可超过更广泛微调的 Code Llama-Python-7B 模型的 pass@1 性能（40.1% vs. 38.4%）；（2）展示虽然 Sophia 在收敛速度上优于 Adam，但最终的 pass@1 分数仅有细微差异；（3）呈现证据表明在微调期间应用傅里叶-based 正则化可显著提高跨语言 transfer，使 Java 任务的 pass@1 达到 42.1%，远高于 34.2% 的基线。这些发现表明，结合 LoRA、优化训练方法和频域正则化可以有效地将单语言 LLM 适配为在多个编程语言上表现良好。
引用
@article{arxiv.2604.06253,
title = {FLeX: Fourier-based Low-rank EXpansion for multilingual transfer},
author = {Gaurav Narasimhan},
journal= {arXiv preprint arXiv:2604.06253},
year = {2026}
}
备注
19 pages, 25 figures, Stanford CS224N Custom Project