多紧凑？：通过逐层剪枝评估表示的紧凑性
机器学习
2019-01-10 v1 机器学习
摘要
在深度神经网络（DNNs）所嵌入的众多层中可能出现各种形式的表示。其中，我们能在何处找到最紧凑的表示？我们提出使用一种剪枝框架来回答这一问题：在不损失性能的前提下，每一层能被压缩到多紧凑？现有大多数 DNN 压缩方法未考虑各层的相对可压缩性。它们统一对所有层施加单一目标稀疏度，或利用启发式方法与额外训练来调整层稀疏度。我们提出一种原则性方法，根据每层的重要性自动确定各层的稀疏度。为此，我们基于逐层容量考量一种度量每层重要性的指标。给定训练好的模型与总目标稀疏度，我们首先从模型中评估每层的重要性，并据此计算每层的逐层稀疏度。所提方法可应用于任意 DNN 架构，并可与任何以总目标稀疏度为参数的剪枝方法结合。为验证所提方法，我们在两个基准数据集上以两类 DNN 架构执行图像分类任务，并采用三种剪枝方法进行压缩。在 ImageNet 数据集上对 VGG-16 模型进行权重剪枝时，在相同总目标稀疏度下，我们取得了比基线高至多 75%（平均 17.5%）的 top-5 准确率。此外，我们分析了网络中最大压缩可能发生的位置。此类分析有助于我们识别深度神经网络中最紧凑的表示。
引用
@article{arxiv.1901.02757,
title = {How Compact?: Assessing Compactness of Representations through Layer-Wise Pruning},
author = {Hyun-Joo Jung and Jaedeok Kim and Yoonsuck Choe},
journal= {arXiv preprint arXiv:1901.02757},
year = {2019}
}
备注
Accepted to AAAI 2019 Workshop on Network Interpretability for Deep Learning