Lion：专有大型语言模型的对抗式蒸馏
计算与语言
2023-10-17 v2
摘要
将知识从复杂的专有大型语言模型（LLM）迁移到紧凑的开源 LLM 的做法已引起相当多的关注。以往的工作侧重于单向知识蒸馏方式，通过将学生模型对一组指令的响应与教师模型对齐。然而，它们忽略了引入任何互惠“反馈”——识别学生模型表现不足的挑战性指令——以迭代地提升学生模型能力的可能性。为此，我们提出了一种新颖的对抗式蒸馏框架以实现更高效的知识迁移。利用 LLM 的多角色适应性，我们提示教师模型识别“困难”指令并为学生模型生成新的“困难”指令，从而创建模仿、判别与生成的三阶段对抗循环。通过应用该对抗框架，我们仅使用 70k 训练数据便成功将知识从 ChatGPT 迁移至学生模型（命名为 Lion）。我们的结果表明，Lion-13B 不仅实现了与 ChatGPT 相当的开放式生成能力，而且在 BIG-Bench Hard（BBH）等挑战性零样本推理基准上超越 Vicuna-13B 等常规最先进（SOTA）指令微调模型 55.4%，在 AGIEval 上超越 16.7%。代码与模型可在 https://github.com/YJiangcm/Lion 找到。
引用
@article{arxiv.2305.12870,
title = {Lion: Adversarial Distillation of Proprietary Large Language Models},
author = {Yuxin Jiang and Chunkit Chan and Mingyang Chen and Wei Wang},
journal= {arXiv preprint arXiv:2305.12870},
year = {2023}
}
备注
21 pages, 5 figures, EMNLP 2023 main conference