张量处理单元上卷积网络的结构化模型剪枝
机器学习
2021-07-22 v2 硬件体系结构
摘要
卷积神经网络的部署常受高计算与存储需求阻碍。结构化模型剪枝是缓解这些需求的一种有前景的方法。以 VGG-16 模型为例，我们在张量处理单元(TPUs)上测量了多种结构化模型剪枝方法与数据集(CIFAR-10 与 ImageNet)的精度-效率权衡。为衡量模型实际性能，我们为 TensorFlow2 开发了结构化模型剪枝库以就地修改模型(而非添加掩码层)。我们表明，结构化模型剪枝可显著改善 TPU 上的模型内存占用与速度且不损失精度，尤其对于小数据集(如 CIFAR-10)。
引用
@article{arxiv.2107.04191,
title = {Structured Model Pruning of Convolutional Networks on Tensor Processing Units},
author = {Kongtao Chen and Ken Franko and Ruoxin Sang},
journal= {arXiv preprint arXiv:2107.04191},
year = {2021}
}
备注
International Conference on Machine Learning 2021 Workshop on Overparameterization: Pitfalls & Opportunities