神经网络压缩的比较研究
机器学习
2019-10-25 v1 机器学习
摘要
近来，为了在算力受限的设备上本地评估神经网络以利用其近期在若干应用中的有效性，相关需求不断增长；然而，这种有效性伴随着现代神经网络规模的显著增加，这在上述若干算力受限场景中构成了主要弊端。因此，对神经网络压缩技术的需求应运而生。已有若干此方向的方案被提出，其中著名的包括基于哈希的方法和基于剪枝的方法。然而，迄今为止这些技术效能的评估标准不一，并无明确证据表明其中某一种优于其他。本工作的目标是通过提供一项比较研究来解决这一后述问题。虽然大多数先前研究测试的是某项技术在缩减最先进网络参数量方面的能力，我们遵循 [CWT+15]，在 MNIST 数据集及其变体上的基础架构上评估其性能，从而得以更清晰地分析其行为某些方面。据我们所知，我们首次直接比较了诸如 HashedNet、最优脑损伤（Optimal Brain Damage, OBD）以及基于幅值的带 L1 和 L2 正则化的剪枝等著名方法，并将它们与同等规模的简单（全连接）和结构（卷积）前馈神经网络进行对比。相当令人惊讶的是，我们的实验表明（迭代）基于剪枝的方法显著优于 HashedNet 架构，其压缩相对于精心选择的卷积网络似乎并无优势。我们还表明，当压缩程度较高时，著名的 OBD 剪枝启发式会退化到不如简单基于幅值的技术高效的程度。
引用
@article{arxiv.1910.11144,
title = {A Comparative Study of Neural Network Compression},
author = {Hossein Baktash and Emanuele Natale and Laurent Viennot},
journal= {arXiv preprint arXiv:1910.11144},
year = {2019}
}