面向预算感知网络剪枝的权重重参数化
计算机视觉与模式识别
2021-07-28 v2
摘要
剪枝旨在通过移除过参数化网络中的冗余权重来设计轻量型架构。现有多数技术先移除结构化子网络（滤波器、通道等），再对所得网络微调以维持高准确率。然而，移除整个结构是一种强拓扑先验，且通过微调恢复准确率极为繁琐。本文引入一种“端到端”轻量网络设计，可同时实现训练与剪枝而无需微调。我们方法的设计原理依赖于重参数化，其不仅学习权重，还学习轻量子网络的拓扑结构。该重参数化作为一种先验（或正则化器），从底层网络的权重中隐式定义剪枝掩码，且不增加训练参数数量。稀疏性由提供精确剪枝的预算损失诱导。在 CIFAR10 与 TinyImageNet 数据集上采用标准架构（即 Conv4、VGG19 和 ResNet18）进行的广泛实验表明，无需微调即可获得引人注目的结果。
引用
@article{arxiv.2107.03909,
title = {Weight Reparametrization for Budget-Aware Network Pruning},
author = {Robin Dupont and Hichem Sahbi and Guillaume Michel},
journal= {arXiv preprint arXiv:2107.03909},
year = {2021}
}
备注
Accepted at International Conference on Image Processing (ICIP 2021)