代码大语言模型的绿色化

代码大语言模型在各种软件工程任务中展现出显著有效性。尽管基于这些强大模型的云服务众多，开发者仍因诸多因素无法充分利用，如受限或不可靠的网络访问、禁止向第三方供应商外传代码的机构隐私政策等。因此，开发紧凑、高效且节能的模型以部署于开发者设备变得至关重要。为此，我们提出Avatar，一种新颖方法，通过从代码大语言模型出发，在模型尺寸、推理延迟、能耗与碳足迹方面进行优化，同时保持相当的有效性，从而打造可部署模型。Avatar的核心思想是将语言模型优化表述为多目标配置调优问题，并借助可满足性模理论（SMT）求解器与定制优化算法求解。SMT求解器用于形成合适的配置空间，而优化算法利用知识蒸馏识别用于训练优化模型的帕累托最优配置集。我们在两个流行代码语言模型（即CodeBERT与GraphCodeBERT）及两个流行任务（即漏洞预测与克隆检测）上评估Avatar。我们使用Avatar生成了尺寸小（3 MB）的优化模型，比原始大模型小160$\times$。在两任务上，优化模型显著降低了能耗（至多降184$\times$）、碳足迹（至多降157$\times$）与推理延迟（至多快76$\times$），而有效性损失可忽略（平均1.67%）。