非结构化剪枝能否缩减深度神经网络的层数？
机器学习
2023-12-27 v2 人工智能
摘要
剪枝是一种广泛用于缩减深度神经网络规模同时保持其性能的技术。然而，尽管该技术能够大规模压缩深度模型，却几乎无法从模型中移除整个层（即使是结构化剪枝）：这是一项可解决的 task 吗？在本研究中，我们提出 EGP，一种创新的熵引导剪枝（Entropy Guided Pruning）算法，旨在缩减深度神经网络规模同时保持其性能。EGP 的关键在于优先剪枝低熵层中的连接，最终导致其被完全移除。通过在 ResNet-18 和 Swin-T 等流行模型上进行的广泛实验，我们的结果表明 EGP 能有效压缩深度神经网络并保持具有竞争力的性能水平。我们的结果不仅揭示了非结构化剪枝优势背后的潜在机制，也为进一步探究熵、剪枝技术与深度学习性能之间的复杂关系铺平了道路。EGP 算法及其洞见在推进网络压缩与优化领域方面具有很大前景。EGP 的源代码已开源发布。
引用
@article{arxiv.2308.06619,
title = {Can Unstructured Pruning Reduce the Depth in Deep Neural Networks?},
author = {Zhu Liao and Victor Quétu and Van-Tam Nguyen and Enzo Tartaglione},
journal= {arXiv preprint arXiv:2308.06619},
year = {2023}
}