AKD：针对编码任务的对抗性知识蒸馏用于大语言模型对齐
软件工程
2025-05-13 v1 人工智能
机器学习
摘要
大型语言模型（LLM）在代码生成中的广泛采用， exemplified by GitHub Copilot\footnote{一个由 Code-LLM 提供动力的编码扩展，帮助完成代码任务的工具}, 已超过百万用户，凸显了这些工具在提高开发者生产力方面的变革性潜力。然而，这种快速增长也凸显了关于生成代码质量、安全性和可靠性的 critical concerns。随着 Code-LLM 的演进，它们面临显著挑战，包括模型扩缩的收益递减以及高质量训练数据的稀缺。为此，本文引入对抗性知识蒸馏（Adversarial Knowledge Distillation, AKD），一种 novel approach that leverages adversarially generated synthetic datasets to distill the capabilities of larger models into smaller, more efficient ones. 通过系统性地对 Code-LLMs 进行压力测试和细化，AKD 提供了一种增强模型鲁棒性、可靠性和安全性，同时提高参数效率的框架。我们认为，这一工作是确保在现有数据约束和模型执行成本效率限制下实现可靠自动代码生成的 critical step。
引用
@article{arxiv.2505.06267,
title = {AKD : Adversarial Knowledge Distillation For Large Language Models Alignment on Coding tasks},
author = {Ilyas Oulkadda and Julien Perez},
journal= {arXiv preprint arXiv:2505.06267},
year = {2025}
}