用于模型压缩的结构化多重哈希方法
摘要
尽管深度神经网络（DNNs）取得了成功，但最先进的模型过于庞大，无法部署在资源受限设备上或同时驻留多个模型于内存中的常见服务器配置中。模型压缩方法通过以对精度的最小影响来降低模型的内存占用、延迟或能耗，从而解决这一限制。我们聚焦于减少模型中可学习变量数量这一任务。在这项工作中，我们结合了权重哈希和维度缩减的思想，产生了一种基于矩阵乘积的简单而强大的结构化多重哈希方法，该方法可直接控制任何深度网络的模型大小，并以端到端方式训练。我们通过压缩来自 ResNet、EfficientNet 和 MobileNet 架构族的模型展示了我们方法的优势。我们的方法使我们能够在保持高精度的同时大幅减少变量数量。例如，通过将我们的方法应用于 EfficientNet-B4（1600 万参数），我们将其压缩至 B0 的大小（500 万参数），同时比 B0 基线精度高出 3% 以上。在常用基准 CIFAR10 上，我们将 ResNet32 模型压缩了 75% 且无质量损失，并能够实现 10 倍压缩同时仍达到 90% 以上的精度。
引用
@article{arxiv.1911.11177,
title = {Structured Multi-Hashing for Model Compression},
author = {Elad Eban and Yair Movshovitz-Attias and Hao Wu and Mark Sandler and Andrew Poon and Yerlan Idelbayev and Miguel A. Carreira-Perpinan},
journal= {arXiv preprint arXiv:1911.11177},
year = {2019}
}
备注
Elad and Yair contributed equally to the paper. They jointly proposed the idea of structured-multi-hashing. Elad: Wrote most of the code and ran most of the experiments Yair: Main contributor to the manuscript Hao: Coding and experiments Yerlan: Coding and experiments Miguel: advised Yerlan about optimization and model compression Mark:experiments Andrew: experiments