追求鲁棒性与多样性的无数据知识蒸馏
机器学习
2021-02-11 v3 计算机视觉与模式识别
系统与控制
系统与控制
摘要
知识蒸馏（KD）在模型压缩与知识迁移方面取得了显著进展。然而，KD需要大量原始数据或其表征统计量，而这些在实践中通常不可用。近期提出的无数据KD通过由教师模型训练的合成样本生成器来供给教师与学生模型，以解决此问题。尽管如此，现有无数据KD方法依赖权重微调来平衡多个损失，并忽略了生成样本的多样性，导致精度与鲁棒性有限。为克服这一挑战，我们在本文中提出追求鲁棒性与多样性的无数据KD（RDSKD）。生成器损失函数被精心设计以产生具有高真实性、类别多样性和样本间多样性的样本。在没有真实数据的情况下，追求高样本真实性与类别多样性的目标常相互冲突，导致损失频繁波动。我们通过指数惩罚损失增量来缓解此问题。在MNIST、CIFAR-10和SVHN数据集上的实验表明，与其他无数据KD方法（如DAFL、MSKD、ZSKD和DeepInversion）相比，RDSKD在不同超参数设置下以更高鲁棒性取得更高精度。
引用
@article{arxiv.2011.03749,
title = {Robustness and Diversity Seeking Data-Free Knowledge Distillation},
author = {Pengchao Han and Jihong Park and Shiqiang Wang and Yejun Liu},
journal= {arXiv preprint arXiv:2011.03749},
year = {2021}
}
备注
Accepted in IEEE ICASSP 2021