基于组堆叠双 GAN 的无数据知识合并
计算机视觉与模式识别
2020-03-23 v1
摘要
深度学习的近期进展提供了学习一个网络以合并来自预训练卷积神经网络（CNN）模型的多路知识的流程，从而降低标注成本。然而，几乎所有现有方法都需要大量训练数据，而由于隐私或传输问题这些数据可能不可用。本文提出一种无数据知识合并策略，从多个单任务/多任务教师网络构建表现良好的多任务学生网络。主要思想是构建具有两个对偶生成器的组堆叠生成对抗网络（GAN）。第一个生成器通过重建逼近用于预训练教师的原始数据集的图像来收集知识；随后以该生成器输出为输入训练一个对偶生成器。最后将双生成器部分作为目标网络并重新分组。在多个多标签分类基准上的结果表明，所提方法在没有任何训练数据的情况下取得了令人惊讶的竞争力，甚至优于一些全监督方法。
引用
@article{arxiv.2003.09088,
title = {Data-Free Knowledge Amalgamation via Group-Stack Dual-GAN},
author = {Jingwen Ye and Yixin Ji and Xinchao Wang and Xin Gao and Mingli Song},
journal= {arXiv preprint arXiv:2003.09088},
year = {2020}
}
备注
Accepted by CVPR 2020