压缩神经网络：迈向确定最优逐层分解
机器学习
2021-11-22 v2 人工智能
计算机视觉与模式识别
摘要
我们提出了一种新颖的深度神经网络全局压缩框架，该框架能自动分析每一层以确定最优的逐层压缩率，同时实现所需的整体压缩。我们的算法核心思想是，通过将每个卷积（或全连接）层的通道切分成多个组，并对每个组进行低秩分解来实现压缩。我们算法的核心在于从 Eckart-Young-Mirsky 定理推导出逐层误差界。然后，我们利用这些界将压缩问题构建为一个优化问题，旨在最小化各层间的最大压缩误差，并提出了一种高效的求解算法。实验表明，我们的方法在广泛的网络和数据集上优于现有的低秩压缩方法。我们相信，我们的结果为未来研究现代神经网络的全局性能-规模权衡开辟了新途径。我们的代码可在 https://github.com/lucaslie/torchprune 获取。
引用
@article{arxiv.2107.11442,
title = {Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition},
author = {Lucas Liebenwein and Alaa Maalouf and Oren Gal and Dan Feldman and Daniela Rus},
journal= {arXiv preprint arXiv:2107.11442},
year = {2021}
}
备注
NeurIPS 2021