用于模型压缩的轻量多段激活
机器学习
2019-11-26 v2
摘要
当将神经网络（NN）应用于许多实际任务时，模型压缩已变得必要，这些任务可接受模型精度略有降低但对模型复杂度有严格容忍度。近来，知识蒸馏（将训练良好且高度复杂的教师模型中的知识蒸馏到紧凑学生模型中）已被广泛用于模型压缩。然而，在资源成本的严格要求下，由于紧凑学生模型表达能力急剧降低，取得与教师模型相当的性能极具挑战。受神经网络中表达能力的本质启发，我们提议在紧凑学生模型中使用多段激活，其能以极小代价显著提升表达能力。具体地，我们提出一种高效多段激活，称为轻量多段激活（LMA），其利用统计信息以极少参数快速产生多个线性区域。使用 LMA 后，紧凑学生模型能比同等规模配备 ReLU 的模型更有效且高效地取得远优性能。此外，所提方法与量化等其他模型压缩技术兼容，意味着可联合使用以获得更佳压缩性能。在真实任务上基于最先进 NN 架构的实验证明了 LMA 的有效性与可扩展性。
引用
@article{arxiv.1907.06870,
title = {Light Multi-segment Activation for Model Compression},
author = {Zhenhui Xu and Guolin Ke and Jia Zhang and Jiang Bian and Tie-Yan Liu},
journal= {arXiv preprint arXiv:1907.06870},
year = {2019}
}