云端的阳性-未标记压缩
机器学习
2019-10-09 v2 机器学习
摘要
已有许多尝试将卷积神经网络(CNNs)在高性能GPU服务器上取得的巨大成功扩展到智能手机等便携设备。因此在云上提供深度学习模型的压缩与加速服务具有重要意义，并对终端用户具有吸引力。然而，现有的网络压缩与加速方法通常通过请求全部原始训练数据(\eg ImageNet)来微调纤细模型，这可能比网络本身更繁琐且无法轻易上传至云端。本文提出一种新颖的阳性-未标记(PU)设定来解决该问题。实践中，仅需原始训练集的一小部分作为阳性样本，更多有用训练样本可通过具有基于注意力的多尺度特征提取器的PU分类器从云端海量未标记数据中获取。我们进一步引入鲁棒知识蒸馏(RKD)方案来处理这些新扩充训练样本的类不平衡问题。所提方法的优越性通过在基准模型和数据集上的实验得到验证。我们仅使用从ImageNet中均匀选取的数据，即可获得与基线ResNet-34性能相当的高效模型。
引用
@article{arxiv.1909.09757,
title = {Positive-Unlabeled Compression on the Cloud},
author = {Yixing Xu and Yunhe Wang and Hanting Chen and Kai Han and Chunjing Xu and Dacheng Tao and Chang Xu},
journal= {arXiv preprint arXiv:1909.09757},
year = {2019}
}