基于改进集束搜索与改进稳定秩的深度神经网络高效低秩压缩
机器学习
2021-12-02 v2 人工智能
计算机视觉与模式识别
摘要
压缩已成为深度学习的重要研究课题之一，尤其对于计算能力与存储容量受限的边缘设备。在主要压缩技术中，通过矩阵分解的低秩压缩已知存在两个问题。首先，需要大量调参。其次，所得压缩性能通常不尽如人意。本工作中，我们提出一种低秩压缩方法，利用改进集束搜索进行自动秩选择，并利用改进稳定秩进行利于压缩的训练。所得的 BSR（Beam-search and Stable Rank）算法仅需调一个超参数即可达到期望压缩比。BSR 在精度与压缩比权衡曲线上的性能优于先前已知的低秩压缩方法。此外，BSR 可与最先进的结构化剪枝方法媲美或更优。与剪枝类似，BSR 可轻松结合量化以实现额外压缩。
引用
@article{arxiv.2111.15179,
title = {A Highly Effective Low-Rank Compression of Deep Neural Networks with Modified Beam-Search and Modified Stable Rank},
author = {Moonjung Eo and Suhyun Kang and Wonjong Rhee},
journal= {arXiv preprint arXiv:2111.15179},
year = {2021}
}
备注
8 pages, 8 figures, 2 tables