基于核心集与凸几何的神经网络剪枝：迈向无假设
机器学习
2022-09-20 v1 人工智能
摘要
剪枝是压缩深度神经网络（DNNs）的主要方法之一。近来，核心集（可证明的数据摘要）被用于 DNN 剪枝，增添了关于压缩率与近似误差之间权衡的理论保证优势。然而，该领域中的核心集要么依赖于数据，要么在模型权重和输入上的限制性假设下生成。在真实场景中，此类假设很少被满足，限制了核心集的适用性。为此，我们提出了一种新颖且鲁棒的框架，在模型权重上的温和假设下且对训练数据无任何假设地计算此类核心集。其思想是根据每个神经元相对于下一层输出的贡献来计算其在各层中的重要性。这通过 Löwner 椭球与 Caratheodory 定理的结合实现。我们的方法同时具有数据无关性、适用于多种网络和数据集（得益于简化的假设），并有理论支撑。实验结果表明，我们的方法在广泛的网络和数据集上优于现有的基于核心集的神经网络剪枝方法。例如，我们的方法在 ImageNet 上的 ResNet50 实现了 的压缩率，精度下降仅 。
引用
@article{arxiv.2209.08554,
title = {Pruning Neural Networks via Coresets and Convex Geometry: Towards No Assumptions},
author = {Murad Tukan and Loay Mualem and Alaa Maalouf},
journal= {arXiv preprint arXiv:2209.08554},
year = {2022}
}