用于神经网络的低秩+稀疏张量压缩
机器学习
2021-11-03 v1
摘要
低秩张量压缩已被提出作为一种有前景的方法，用于减少神经网络在边缘设备上部署所需的内存和计算需求。张量压缩通过假设网络权重具有粗略的高阶结构来减少表示神经网络权重所需的参数数量。这种粗略结构假设已被应用于压缩大型神经网络，如VGG和ResNet。然而，用于计算机视觉任务的现代最先进神经网络（如MobileNet、EfficientNet）已经通过深度可分离卷积假设了粗略的分解结构，使得纯张量分解成为一种不太有吸引力的方法。我们提出将低秩张量分解与稀疏剪枝相结合，以利用粗略和精细结构进行压缩。我们在最先进的架构（MobileNetv3、EfficientNet、Vision Transformer）中压缩权重，并将这种方法与单独的稀疏剪枝和张量分解进行比较。
引用
@article{arxiv.2111.01697,
title = {Low-Rank+Sparse Tensor Compression for Neural Networks},
author = {Cole Hawkins and Haichuan Yang and Meng Li and Liangzhen Lai and Vikas Chandra},
journal= {arXiv preprint arXiv:2111.01697},
year = {2021}
}