用于无数据知识蒸馏的对比式模型反演
人工智能
2021-05-19 v1 计算机视觉与模式识别
机器学习
摘要
模型反演旨在从预训练模型中恢复训练数据,近来已被证明是可行的。然而,现有的反演方法通常存在模式坍塌问题,即合成样本彼此高度相似,从而在知识蒸馏等下游任务中效果有限。本文提出对比式模型反演(Contrastive Model Inversion, CMI),将数据的多样性显式建模为一个可优化的目标,以缓解模式坍塌问题。我们的主要观察是:在数据量相同的约束下,更高的数据多样性通常意味着更强的样本判别性。为此,我们在 CMI 中引入了一个对比学习目标,鼓励当前批次合成的实例区别于之前批次已合成的实例。在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 上针对预训练模型的实验表明,CMI 不仅比现有最优方法生成视觉上更合理的实例,而且在将生成数据用于知识蒸馏时取得了显著更优的性能。代码见 \url{https://github.com/zju-vipa/DataFree}。
引用
@article{arxiv.2105.08584,
title = {Contrastive Model Inversion for Data-Free Knowledge Distillation},
author = {Gongfan Fang and Jie Song and Xinchao Wang and Chengchao Shen and Xingen Wang and Mingli Song},
journal= {arXiv preprint arXiv:2105.08584},
year = {2021}
}