通过激活正则化与虚拟插值增强无数据对抗蒸馏
机器学习
2021-02-24 v1 人工智能
摘要
知识蒸馏指的是将已学大模型或集成模型的知识迁移到小模型的技术。该方法依赖于对原始训练集的访问，而原始训练集未必总可用。一种可能的解决方案是无数据对抗蒸馏框架，其部署生成网络将教师模型的知识迁移给学生模型。然而，无数据对抗蒸馏中的数据生成效率低下。我们添加激活正则化器和虚拟插值方法来提升数据生成效率。激活正则化器使学生匹配教师在接近激活边界和决策边界处的预测。虚拟插值方法可生成决策边界之间的虚拟样本与标签。我们的实验表明，我们的方法超越了最先进的无数据蒸馏方法。学生模型在无任何原始训练数据下可在 CIFAR-10 上达到 95.42% 准确率，在 CIFAR-100 上达到 77.05% 准确率。我们的模型在 CIFAR-100 上的准确率比最先进的无数据方法高 13.8%。
引用
@article{arxiv.2102.11638,
title = {Enhancing Data-Free Adversarial Distillation with Activation Regularization and Virtual Interpolation},
author = {Xiaoyang Qu and Jianzong Wang and Jing Xiao},
journal= {arXiv preprint arXiv:2102.11638},
year = {2021}
}
备注
Accepted to ICASSP 2021