面向可靠分布无损网络剪枝的高效 Stein 变分推断
计算机视觉与模式识别
2022-12-08 v1 人工智能
摘要
网络剪枝是一种有前景的方法，可生成轻量而精确的模型，并使其部署在资源受限的边缘设备上。然而，当前最先进的方法假设给定网络中的有效子网络与其他冗余参数共享同一分布，其中剪枝不可避免地涉及分布截断操作。它们通常消除接近零的值。虽然简单，但这可能不是最合适的方法，因为有效模型可能天然带有许多与之相关的小值。移除已嵌入模型空间中的近零值可能显著降低模型精度。另一类工作提出在所有可能子结构上赋予离散先验，仍依赖于人工设计的先验假设。更糟的是，现有方法使用正则化点估计，即硬剪枝，无法提供误差估计，也不能对剪枝后网络给出可靠性证明。本文提出一种新颖的分布无损剪枝方法，称为 DLLP，以在贝叶斯处理下从理论上寻找剪枝彩票。具体而言，DLLP 将原始网络重塑为潜在剪枝模型与其他冗余的离散先验。更重要的是，DLLP 使用 Stein Variational Inference 逼近潜在先验，并有效避开对未知分布计算 KL 散度。基于小型 Cifar-10 和大规模 ImageNet 的大量实验表明，我们的方法能获得更稀疏且具优异泛化性能的网络，同时为剪枝模型提供量化的可靠性。
引用
@article{arxiv.2212.03537,
title = {Efficient Stein Variational Inference for Reliable Distribution-lossless Network Pruning},
author = {Yingchun Wang and Song Guo and Jingcai Guo and Weizhan Zhang and Yida Xu and Jie Zhang and Yi Liu},
journal= {arXiv preprint arXiv:2212.03537},
year = {2022}
}
备注
13 pages, 1 figures