深度神经网络模型压缩与加速综述

深度神经网络 (DNNs) 最近在許多视觉识别任务中取得了巨大成功。然而，现有的深度神经网络模型计算成本高且内存占用大，阻碍了它们在低内存资源设备或具有严格延迟要求的应用中的部署。因此，一个自然的想法是在不显著降低模型性能的情况下，对深度网络进行模型压缩和加速。在过去五年中，该领域取得了巨大进展。在本文中，我们回顾了压缩和加速 DNN 模型的最新技术。总体而言，这些技术分为四类：参数剪枝与量化、低秩分解、迁移/紧凑卷积滤波器以及知识蒸馏。首先描述参数剪枝和量化方法，随后介绍其他技术。对于每一类，我们还提供了关于性能、相关应用、优点和缺点的深入分析。然后，我们回顾了一些非常近期的成功方法，例如动态容量网络和随机深度网络。之后，我们调查了评估指标、用于评估模型性能的主要数据集以及最近的基准测试工作。最后，我们总结本文，讨论剩余的挑战和未来工作的可能方向。