紧致压缩：通过细粒度剪枝与权重置换实现 CNN 的高效压缩

剪枝后的非结构化稀疏性对现有规则架构（如脉动阵列）中深度学习模型的高效实现提出了挑战。另一方面，粗粒度结构化剪枝适合在规则架构中实现，但在剪枝后模型大小相同时，往往比非结构化剪枝有更高的精度损失。本工作中，我们提出一种基于新颖权重置换方案的模型压缩方法，以在硬件设计中充分利用细粒度权重稀疏性。通过置换获得权重矩阵的最优排列，并将稀疏权重矩阵进一步压缩为小而稠密的格式，以充分利用硬件资源。我们探索了两种剪枝粒度。除非结构化权重剪枝外，我们还提出更细粒度的子字级剪枝以进一步提升压缩性能。相较最先进（SOTA）工作，矩阵压缩率由 5.88x 显著提升至 14.13x。结果，吞吐量与能效分别提升 2.75 倍与 1.86 倍。