提示以蒸馏：通过强化提示提升无数据知识蒸馏
计算与语言
2022-05-17 v1
摘要
无数据知识蒸馏(DFKD)通过消除对原始训练数据的依赖来进行知识蒸馏，近期在加速预训练语言模型方面取得了令人印象深刻的成果。DFKD的核心是通过反演未压缩模型的参数来重建合成数据集。然而，先前的DFKD方法很大程度上依赖目标数据分布的手工先验进行重建，这不可避免地存在偏差且常不足以捕捉内在分布。为解决这个问题，我们提出一种基于提示的方法，称为PromptDFD，使我们能够利用学到的语言先验，有效使合成句子在语义与语法上正确。具体而言，PromptDFD利用预训练生成模型提供语言先验，并引入一个强化主题提示器来控制数据合成，使生成样本主题相关且语义合理，从而对下游任务友好。如我们的实验所示，所提方法大幅提升了合成质量，并在蒸馏性能上取得可观改进。在某些情况下，PromptDFD甚至给出与有原始训练数据访问权限的数据驱动知识蒸馏相当的结果。
引用
@article{arxiv.2205.07523,
title = {Prompting to Distill: Boosting Data-Free Knowledge Distillation via Reinforced Prompt},
author = {Xinyin Ma and Xinchao Wang and Gongfan Fang and Yongliang Shen and Weiming Lu},
journal= {arXiv preprint arXiv:2205.07523},
year = {2022}
}
备注
Accepted by IJCAI2022