基于漏斗正则化的卷积神经网络低秩张量分解压缩
计算机视觉与模式识别
2021-12-08 v1 人工智能
机器学习
性能
摘要
张量分解因能揭示复杂结构间的潜在关系,是深度卷积神经网络模型压缩的基础技术之一。然而,大多数现有方法逐层压缩网络,无法提供令人满意的全局优化方案。本文提出一种利用卷积层低秩张量分解压缩预训练网络的模型精简方法。我们的方法基于优化技术来选择分解网络层的合适秩。提出一种称为漏斗函数(funnel function)的新正则化方法,在压缩过程中抑制不重要因子,从而更容易揭示合适的秩。实验结果表明,我们的算法比其他张量压缩方法能减少更多模型参数。对于使用ImageNet2012的ResNet18,我们精简后的模型在GMAC指标上可达到两倍以上加速,且仅损失0.7%的Top-1精度,在两指标上均优于大多数现有方法。
引用
@article{arxiv.2112.03690,
title = {Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization},
author = {Bo-Shiuan Chu and Che-Rung Lee},
journal= {arXiv preprint arXiv:2112.03690},
year = {2021}
}