面向弱监督代码生成的显式知识迁移
计算与语言
2023-06-09 v3
摘要
大语言模型（LLMs）可以通过少样本学习获得强大的代码生成能力。相比之下，较小的模型仍需要监督微调才能获得良好性能。此类微调需要大量特定任务的自然语言-代码对，而获取这些数据的成本很高。在本文中，我们尝试借助弱监督数据将 LLM 的代码生成能力迁移到较小的模型。更具体地，我们提出显式知识迁移（EKT），它利用教师 LLM 的少样本能力来创建自然语言-代码对，然后我们筛选出正确的样本并在其上微调学生模型。我们在 GSM8k 数据集上从数学应用题生成代码解决方案的任务上评估 EKT。我们发现 EKT 不仅比使用专家迭代训练取得更好性能，而且优于另一种知识迁移形式——知识蒸馏。使用 GPT-J 教师通过 EKT 训练的 GPT-Neo 1.3B 模型在 GSM8k 上取得了 12.4% 的 pass@100，而使用知识蒸馏训练的相同学生和教师仅取得 3.7% 的 pass@100。我们还表明，学生模型有可能通过 EKT 超越教师。
引用
@article{arxiv.2211.16740,
title = {Explicit Knowledge Transfer for Weakly-Supervised Code Generation},
author = {Zhangir Azerbayev and Ansong Ni and Hailey Schoelkopf and Dragomir Radev},
journal= {arXiv preprint arXiv:2211.16740},
year = {2023}
}
备注
Updated on Jun 7. 2023 with ICLR workshop header