利用无标签数据将巨型神经网络落地实用
机器学习
2019-12-23 v2 机器学习
摘要
压缩巨型神经网络因其在手机等边缘设备上的广泛应用而备受关注。在压缩过程中，最重要的步骤之一是利用原始训练数据集对预训练模型进行再训练。然而，出于安全、隐私或商业利益的考虑，实践中仅提供一小部分样本训练数据，这使得再训练不可行。为解决此问题，本文提出利用手中更易获取的无标签数据。具体而言，我们借助无标签数据来模仿巨型网络的分类特性，从而良好地保留原有容量。然而，标签数据与无标签数据之间存在数据集偏置，可能干扰训练并降低性能。因此我们通过对抗损失修正该偏置，使其低级特征表示分布对齐。我们进一步从理论层面探讨了无标签数据如何帮助压缩网络获得更好的泛化能力。实验结果表明，无标签数据能显著提升压缩网络的性能。
引用
@article{arxiv.1907.06065,
title = {Bringing Giant Neural Networks Down to Earth with Unlabeled Data},
author = {Yehui Tang and Shan You and Chang Xu and Boxin Shi and Chao Xu},
journal= {arXiv preprint arXiv:1907.06065},
year = {2019}
}