无数据学生网络学习
机器学习
2020-01-01 v4 计算机视觉与模式识别
机器学习
摘要
出于将预训练的重型深度模型良好应用于移动手机和微传感器等边缘设备的目的，学习可移植的神经网络对计算机视觉而言非常关键。大多数现有的深度神经网络压缩与加速方法在我们可以直接访问训练数据集时，对训练紧凑深度模型非常有效。然而，由于一些实际问题（例如隐私、法律问题和传输），给定深度网络的训练数据通常不可用，并且除某些接口外，给定网络的架构也未知。为此，我们提出一种通过利用生成对抗网络（GANs）来训练高效深度网络的新框架。具体而言，预训练的教师网络被视为固定的判别器，生成器用于导出在判别器上获得最大响应的训练样本。然后，利用生成的数据和教师网络同时训练具有更小模型规模和计算复杂度的高效网络。使用所提出的无数据学习（DAFL）方法学习到的高效学生网络，在 CIFAR-10 和 CIFAR-100 数据集上分别利用 ResNet-18 在没有任何训练数据的情况下取得了 92.22% 和 74.47% 的准确率。同时，我们的学生网络在 CelebA 基准上获得了 80.56% 的准确率。
引用
@article{arxiv.1904.01186,
title = {Data-Free Learning of Student Networks},
author = {Hanting Chen and Yunhe Wang and Chang Xu and Zhaohui Yang and Chuanjian Liu and Boxin Shi and Chunjing Xu and Chao Xu and Qi Tian},
journal= {arXiv preprint arXiv:1904.01186},
year = {2020}
}