通过堆叠设计基本单元构建紧凑神经网络
计算机视觉与模式识别
2022-05-04 v1 人工智能
机器学习
摘要
非结构化剪枝存在处理稀疏且不规则权重的局限。相比之下，结构化剪枝可消除此缺陷，但需要复杂准则来确定剪除哪些组件。为此，本文提出一种称为 TissueNet 的新方法，它通过独立堆叠所设计的基本单元直接构建具有更少权重参数的紧凑神经网络，不再需要额外的判断准则。给定各种架构的基本单元，它们以一定形式组合并堆叠以构建紧凑神经网络。我们在多种流行骨干网络中构建 TissueNet，以在不同基准数据集上与最先进（SOTA）剪枝方法进行比较。此外，提出两个新指标来评估压缩性能。实验结果表明，TissueNet 在节省高达约 80% FLOPs 和 89.7% 参数的同时，可达到可比的分类精度。即，堆叠基本单元为网络压缩提供了一条新的有前景的途径。
引用
@article{arxiv.2205.01508,
title = {Compact Neural Networks via Stacking Designed Basic Units},
author = {Weichao Lan and Yiu-ming Cheung and Juyong Jiang},
journal= {arXiv preprint arXiv:2205.01508},
year = {2022}
}
备注
17 pages, 4 figures, 5 tables