面向预训练代码智能语言模型的遗传自动提示学习
软件工程
2024-03-21 v1 计算与语言
摘要
随着作为代码智能流行方法的预训练语言模型规模不断增长，其使用所需的计算成本已变得极其高昂。提示学习是自然语言处理领域的最新进展，成为应对这一挑战的潜在解决方案。在本文中，我们研究了提示学习在代码智能任务中的有效性。我们揭示了其对人工设计提示的依赖，这通常需要大量的人力投入和专业知识。此外，我们发现现有的自动提示设计方法由于梯度依赖性、高计算需求和有限适用性等因素，在代码智能任务中非常受限。为了有效解决这两个问题，我们提出了遗传自动提示（GenAP），它利用精心设计的遗传算法来自动设计提示。借助GenAP，非专家用户可以轻松生成优于精心人工设计提示的卓越提示。GenAP无需梯度或额外的计算成本即可运行，使其具有无梯度和成本效益的特点。此外，GenAP支持代码智能任务的理解和生成两种类型，展现出强大的适用性。我们在三个流行的代码智能预训练语言模型上，针对三个典型的代码智能任务（包括缺陷预测、代码摘要和代码翻译）实施了GenAP。结果表明，GenAP可以有效地自动化设计提示的过程。具体来说，GenAP在所有三个任务上都优于所有其他方法（例如，在缺陷预测上平均准确率提高了2.13%）。据我们所知，GenAP是第一个为代码智能预训练语言模型自动设计提示的工作。
引用
@article{arxiv.2403.13588,
title = {Genetic Auto-prompt Learning for Pre-trained Code Intelligence Language Models},
author = {Chengzhe Feng and Yanan Sun and Ke Li and Pan Zhou and Jiancheng Lv and Aojun Lu},
journal= {arXiv preprint arXiv:2403.13588},
year = {2024}
}