DHP：基于超网络的可微分元剪枝

网络剪枝一直是加速神经网络以及减轻模型存储/传输负担的推动力。随着 AutoML 与神经架构搜索（NAS）的出现，剪枝因自动机制与基于搜索的架构优化而成为热点。然而，当前的自动设计依赖于强化学习或进化算法。由于这些算法的不可微性，剪枝算法需要较长的搜索阶段才能达到收敛。为规避此问题，本文引入一种通过超网络实现的可微分剪枝方法用于自动网络剪枝。专门设计的超网络以潜向量为输入并生成骨干网络的权重参数。潜向量控制骨干网络中卷积层的输出通道，并作为各层剪枝的把手。通过对潜向量施加 $\ell_1$ 稀疏正则化并利用近端梯度求解器，可获得稀疏潜向量。将稀疏化后的潜向量通过超网络，所生成权重参数的相应切片可被移除，从而实现网络剪枝。所有层的潜向量被一同剪枝，得到自动的层配置。我们在多种网络上针对图像分类、单图像超分辨率与去噪进行了大量实验。实验结果验证了所提方法。