当微调 LLM 遇上数据隐私：基于 GPT 的程序修复中的联邦学习实证研究
软件工程
2024-12-03 v1
摘要
软件系统正在快速演化并不可避免地引入错误，导致软件维护中消耗的资源显著增加。最近，大型语言模型 (LLM) 在软件开发和维护实践中展现出巨大潜力，尤其是在自动化程序修复 (APR) 中表现出更高的准确率和效率。然而，LLM-based APR 高度依赖高质量的代码仓库。大部分现有代码仓库用于私人用途和来自各行业的专有资产，反映了更为多样和细致的数据，因为现实世界的行业通常具有更广泛的软件开发实践，这些实践无法仅通过公共数据集覆盖。因此，利用私有数据集在软件开发和维护方面具有巨大的潜力。然而，由于企业不愿意分享其代码库，从各行业获取此类数据的做法受到数据隐私问题的阻碍。为弥合这一差距，我们研究将联邦学习作为一种隐私保护方法，以便私有实体在专有和分散的数据上微调 LLM，从而促进各客户之间协作，以充分利用数据帮助改进软件开发和维护。我们的评估显示，联邦微调能够有效提升程序修复能力。值得注意的是，异构代码对 LLM 微调的影响微乎其微，这表明无论数据分布多样，现实世界的行业都可以从合作开发中受益。此外，每种联邦算法在不同 LLM 上都表现出独特的优势，表明针对不同 LLM 的独特特征进行针对性优化可以提高程序修复的效果。
引用
@article{arxiv.2412.01072,
title = {When Fine-Tuning LLMs Meets Data Privacy: An Empirical Study of Federated Learning in LLM-Based Program Repair},
author = {Wenqiang Luo and Jacky Wai Keung and Boyang Yang and He Ye and Claire Le Goues and Tegawende F. Bissyande and Haoye Tian and Bach Le},
journal= {arXiv preprint arXiv:2412.01072},
year = {2024}
}