基于由易到难学习策略的动态无数据知识蒸馏
计算机视觉与模式识别
2023-07-06 v3
摘要
无数据知识蒸馏（DFKD）是一种广泛应用的知识蒸馏（KD）策略，其训练数据不可用。它在无任何训练数据访问的情况下，借助大型预训练教师模型训练轻量级学生模型。然而，现有 DFKD 方法存在训练过程不充分与不稳定之弊，因为它们未基于学习过程中学生模型的状态动态调整生成目标。为克服此局限，我们提出一种称为 CuDFKD 的新型 DFKD 方法。它以一种动态策略教导学生，逐步生成由易到难的伪样本，类比人类学习方式。此外，CuDFKD 根据学生模型状态动态调整生成目标。再者，我们对优化最小化（MM）算法给出理论分析，并解释了 CuDFKD 的收敛性。为衡量 DFKD 方法的鲁棒性与保真度，我们提出两个额外指标，实验表明 CuDFKD 在所有数据集上取得了与最先进（SOTA）DFKD 方法相当的性能。实验还呈现我们的 CuDFKD 相较于其他 SOTA DFKD 方法具有最快收敛与最佳鲁棒性。
引用
@article{arxiv.2208.13648,
title = {Dynamic Data-Free Knowledge Distillation by Easy-to-Hard Learning Strategy},
author = {Jingru Li and Sheng Zhou and Liangcheng Li and Haishuai Wang and Zhi Yu and Jiajun Bu},
journal= {arXiv preprint arXiv:2208.13648},
year = {2023}
}
备注
Accepted by Information Sciences, Proof version provided