通过对抗信念匹配实现零样本知识迁移
机器学习
2019-11-27 v4 机器学习
摘要
将知识从大型教师网络迁移到较小的学生是当今深度学习应用中一项流行的任务。然而，由于数据集规模不断增长以及隐私法规日益严格，越来越常见的是无法访问用于训练教师的数据。我们提出了一种新方法，该方法在没有任何数据或元数据的情况下训练学生以匹配其教师的预测。我们通过训练一个对抗生成器来搜索学生与教师匹配不佳的图像，然后用它们来训练学生，从而实现这一点。我们得到的学生在 SVHN 等简单数据集上紧密近似其教师，并且在 CIFAR10 上，尽管未使用任何数据，我们在少样本蒸馏（每类 100 张图像）上优于最先进水平（SOTA）。最后，我们还提出了一种度量来量化教师与学生之间在决策边界附近的信念匹配程度，并观察到我们的零样本学生与教师之间的匹配显著高于用真实数据蒸馏的学生与教师之间的匹配。代码见：https://github.com/polo5/ZeroShotKnowledgeTransfer
引用
@article{arxiv.1905.09768,
title = {Zero-shot Knowledge Transfer via Adversarial Belief Matching},
author = {Paul Micaelli and Amos Storkey},
journal= {arXiv preprint arXiv:1905.09768},
year = {2019}
}