改写复杂网络：基于因子迁移的网络压缩
计算机视觉与模式识别
2020-07-23 v3
摘要
许多研究者寻求模型压缩的方法，以在最小性能退化下减小深度神经网络（DNN）的规模，从而在嵌入式系统中使用 DNN。在模型压缩方法中，一种称为知识迁移的方法是利用更强的教师网络来训练学生网络。本文提出一种新颖的知识迁移方法，利用卷积操作改写教师的知识并将其翻译给学生。这通过两个卷积模块实现，称为改写器和翻译器。改写器以无监督方式训练，以提取定义为教师网络改写信息的教师因子。位于学生网络的翻译器提取学生因子，并通过模仿教师因子来帮助翻译教师因子。我们观察到，采用所提因子迁移方法训练的学生网络优于采用传统知识迁移方法训练的网络。
引用
@article{arxiv.1802.04977,
title = {Paraphrasing Complex Network: Network Compression via Factor Transfer},
author = {Jangho Kim and SeongUk Park and Nojun Kwak},
journal= {arXiv preprint arXiv:1802.04977},
year = {2020}
}
备注
Advances in Neural Information Processing Systems