AdvFusion：基于适配器的代码语言模型代码摘要知识迁移
软件工程
2024-12-24 v3
摘要
编程语言可通过利用预训练模型用于代码摘要和方法名预测等软件工程任务而相互受益。虽然代码语言模型（Code-LMs）的全参数微调已在多语言知识迁移中得到探索，但面向此目的的参数高效微调（PEFT）研究有限。AdapterFusion 作为一种 PEFT 架构，旨在通过利用多语言信息提升任务性能，但主要关注目标语言。为此，我们提出 AdvFusion，一种新颖的基于 PEFT 的方法，在适配目标任务之前有效从其他语言学习。在代码摘要和方法名预测上的评估表明，AdvFusion 比 AdapterFusion 最高高出 1.7 分，并相对于 LoRA 在 Ruby、JavaScript 和 Go 上分别取得 1.99、1.26 和 2.16 的增益。我们开源了用于复现的脚本。
引用
@article{arxiv.2307.07854,
title = {AdvFusion: Adapter-based Knowledge Transfer for Code Summarization on Code Language Models},
author = {Iman Saberi and Amirreza Esmaeili and Fatemeh Fard and Fuxiang Chen},
journal= {arXiv preprint arXiv:2307.07854},
year = {2024}
}
备注
Accepted to SANER 2025