基于低秩分解的卷积神经网络压缩
计算机视觉与模式识别
2024-08-30 v1
摘要
深度神经网络通常会带来显著的计算负载和内存消耗。此外，大参数限制了将模型部署到边缘设备（如嵌入式系统）的能力。张量分解在压缩大规模权重张量方面具有明显优势。然而，直接使用低秩分解通常会导致显著的精度损失。本文提出一种模型压缩方法，将变分贝叶斯矩阵分解（VBMF）与正交正则化相结合。首先，对模型进行过参数化和训练，并应用正交正则化以提高其实现原始模型准确度的可能性。其次，采用 VBMF 来估计每个层的权重张量秩。该框架足够通用，可适用于其他卷积神经网络，并且容易集成其他张量分解方法。实验结果表明，在高和低压缩比例下，我们的压缩模型均表现出优异的性能。
引用
@article{arxiv.2408.16289,
title = {Convolutional Neural Network Compression Based on Low-Rank Decomposition},
author = {Yaping He and Linhao Jiang and Di Wu},
journal= {arXiv preprint arXiv:2408.16289},
year = {2024}
}
备注
10 pages, 1 figures