DepthShrinker：一种面向提升紧凑神经网络真实硬件效率的新压缩范式
机器学习
2025-01-07 v3 计算机视觉与模式识别
摘要
配备紧凑算子（如深度可分离卷积）的高效深度神经网络（DNN）模型在降低 DNN 理论复杂度（如权重/运算总量）的同时保持较好模型精度方面已展现出巨大潜力。然而，现有高效 DNN 由于其普遍采用的紧凑算子硬件利用率低，仍难以兑现其提升真实硬件效率的承诺。本工作开创了一种用于开发真实硬件高效 DNN 的新压缩范式，在保持模型精度的同时提升硬件效率。有趣的是，我们观察到尽管某些 DNN 层的激活函数有助于 DNN 的训练优化与可达精度，但它们可在训练后恰当移除而不损害模型精度。受此启发，我们提出名为 DepthShrinker 的框架，通过将以不规则计算模式为特征的现有高效 DNN 的基本构建块压缩为稠密块，从而大幅提高硬件利用率与真实硬件效率，开发出硬件友好的紧凑网络。令人振奋的是，我们的 DepthShrinker 框架所交付的硬件友好紧凑网络优于最先进的高效 DNN 与压缩技术，例如相较 SOTA 通道剪枝方法 MetaPruning，在 Tesla V100 上精度提升 3.06% 且吞吐量达 1.53。我们的代码见：https://github.com/facebookresearch/DepthShrinker。
引用
@article{arxiv.2206.00843,
title = {DepthShrinker: A New Compression Paradigm Towards Boosting Real-Hardware Efficiency of Compact Neural Networks},
author = {Yonggan Fu and Haichuan Yang and Jiayi Yuan and Meng Li and Cheng Wan and Raghuraman Krishnamoorthi and Vikas Chandra and Yingyan Celine Lin},
journal= {arXiv preprint arXiv:2206.00843},
year = {2025}
}
备注
Accepted at ICML 2022