用于自动损失感知模型压缩的单路径比特共享
计算机视觉与模式识别
2023-05-05 v4
摘要
网络剪枝与量化已被证明是深度模型压缩的有效手段。为获得高度紧凑的模型，多数方法先执行网络剪枝，再基于剪枝后模型进行网络量化。然而该策略可能忽略二者相互影响，分开执行或导致次优性能。为此，联合执行剪枝与量化至关重要。但如何在剪枝与量化间权衡并非易事。此外，现有压缩方法常依赖预定义压缩配置，已有一些搜索最优配置的尝试，却可能带来难以承受的优化代价。针对上述问题，我们设计了一种简洁而有效的方法——单路径比特共享（SBS）。具体而言，我们先将网络剪枝视为量化的特例，为剪枝与量化提供统一视角；随后引入单路径模型以编码所有候选压缩配置。如此，配置搜索问题转化为子集选择问题，显著减少了参数量、计算代价与优化难度。基于单路径模型，我们进一步引入可学习的二值门以编码位宽选择，通过联合训练二值门与网络参数，可自动确定各层压缩配置。在 CIFAR-100 与 ImageNet 上的大量实验表明，SBS 能在大幅降低计算代价的同时取得优异性能。例如，经 SBS 压缩的 MobileNetV2 实现了 22.6 倍比特运算（BOP）削减，而 Top-1 精度仅下降 0.1%。
引用
@article{arxiv.2101.04935,
title = {Single-path Bit Sharing for Automatic Loss-aware Model Compression},
author = {Jing Liu and Bohan Zhuang and Peng Chen and Chunhua Shen and Jianfei Cai and Mingkui Tan},
journal= {arXiv preprint arXiv:2101.04935},
year = {2023}
}
备注
Accepted to IEEE Trans. Pattern Analysis and Machine Intelligence (TPAMI)